Die umfangreichen Sammlungen des KHM sind auf mehrere Gebäude verteilt: Im Hauptgebäude am Ring befinden sich die Gemäldegalerie, die Antikensammlung, die Ägyptisch-Orientalische Sammlung, das Münzkabinett sowie die Kunstkammer, die im Februar 2013 wiedereröffnet wird.
Darüberhinaus befinden sich Sammlungen des Kunsthistorischen Museums in der Neuen Burg (Sammlung alter Musikinstrumente, Hofjagd- und Rüstkammer, Ephesos Museum), in der Hofburg (Schatzkammer) sowie im Schloss Schönbrunn (Wagenburg).
Die Sammlungen auf Schloss Ambras in Innsbruck gehören ebenfalls dem Kunsthistorischen Museum an.
Seit Januar 2001 sind dem Haus das Museum für Völkerkunde am Heldenplatz sowie das Österreichische Theatermuseum am Lobkowitzplatz angegliedert.
Das Kunsthistorische Museum mit Museum für Völkerkunde und Österreichischem Theatermuseum ist eine wissenschaftliche Anstalt öffentlichen Rechts des Bundes. Sie unterliegt der Aufsicht der Bundesministerin für Unterricht, Kunst und Kultur.