Wcześniej w tym miejscu istniały Ogrody Wahla (patrz niżej). Gmach powstał w latach 1927-38 wg proj. Tadeusza Tołwińskiego, budowę dokończył A. Dygat. Zgromadzono tu zbiory Muzeum Sztuk Pięknych, działającego od 1862, w 1916 przekształconego w Muzeum Narodowe z siedzibą na Podwalu. W czasie II wojny światowej Niemcy planowali wysadzić budynek w powietrze, ale dzięki poświęceniu dyrektora placówki, budynek i zbiory ocalały, choć część Niemcy zdołali wywieźć. Część budynków zajmowały wojska SS i lotnictwa niemieckiego. W 1945 przedstawiono wystawę „Warszawa oskarża”, pokazującą ogrom zniszczeń powojennych w mieście. W 1965-72 rozbudowany o ryzalit od strony parku. Galeria Sztuki Starożytnej. Umieszczono tu zbiór waz greckich i zabytki egipskie. Galeria Faras. Mieści się tu zbiór malarstwa średniowiecznego chrześcijaństwa z terenów Sudanu i krzyży etiopskich. Zbiór podzielony jest na pół, jego druga część znajduje się w Chartum. Zabytki znalazła grupa polskich archeologów w latach 1960-4. Galeria Sztuki Średniowiecznej. Rzeźba gotycka i ołtarze z XIV i XV w. na ziemiach Polskich. Galeria Malarstwa Obcego. Malarstwo włoskie i niderlandzkie z okresu XIV – XVIII w. Mieszczą się tu dzieła Tintoretta, Crancha, Jordaensa, Boticellego. Galeria Malarstwa Polskiego. Jest to głównie malarstwo z XIX w., jednak z założenia obejmuje okres XVI-XX w. Zebrano tu dzieła Jana Matejki (Bitwa pod Grunwaldem), Olgi Boznańskiej, Aleksandra Gierymskiego, Jacka Malczewskiego, Józefa Mehoffera, Władysława Podkowińskiego, Józefa Pankiewicza, Władysława Ślewińskiego, Witolda Wojtkiewicza i Stanisława Wyspiańskiego. Galeria Sztuki Polskiej XX w. Dzieła z okresu 1914-49. Gabinet Polskiej Sztuki Zdobniczej. Gabinet Europejskiej Sztuki Złotniczej. Gabinet Sreber. Muzeum Wojska Polskiego. Muzeum powstało dzięki marsz. Józefowi Piłsudskiemu w 1920 i od początku związane było z Muzeum Narodowym. Wewnątrz mieszczą się wystawy: Wojskowość polska średniowieczna i staropolska, Wojny ze Szwecją i Turcją, Czasy saskie, Reformy wojskowe w okresie Oświecenia i wojna w obronie Konstytucji 3 Maja, Powstanie Kościuszkowskie, Legiony polskie i wojsko Księstwa Warszawskiego, Wojsko Królestwa Polskiego i powstanie Listopadowe, Wiosna Ludów i Powstanie Styczniowe, Wojsko Polskie II RP i wojna obronna 1939, Zbrojne podziemie w okupowanym kraju 1939-45, Polskie Siły Zbrojne na Zachodzie. Na zewnątrz umieszczona jest wystawa plenerowa z XX w.: czołgi samoloty, działa i inne. Pomnik Dowborczyków. Poświęcony poległym w 1917-9 żołnierzom 1. korpusu Polskiego pod dowództwem gen. Józefa Dowbor – Muśnickiego. Pomnik wykonał Michał Kamieński i odsłonięto go 01.11.1930. Stanął na Wybrzeżu Kościuszkowskim w pobliżu ul. Bednarskiej. Pomnik przetrwał wojnę, ale został zniszczony w czynie pierwszomajowym przez aktywistów ZMP z AWF-u na rozkaz władz miasta 01.05.1948. Przy pomniku stawiano warty, składano wieńce, ale w związku z budową Trasy W-Z trzeba go było usunąć. Później pomnik widziano na Woli, w składnicy złomu. Głowę zabrał kolekcjoner, a reszta przepadła. Pomnik zrekonstruował student ASP, Paweł Spryczyński jako pracę dyplomową, wyjątkowo niedoskonałą, a kolejny raz przez Janusza Pastwę i ten model został odlany w brązie przez Gliwickie Zakłady Urządzeń Technicznych w 1997. Od tamtej pory chwilowo stoi na dziedzińcu Muzeum WP. Od powrotu na dawne miejsce dzielą pomnik kolejne kłótnie i pomysły Komitetu. Ogrody Wahla. Założone w XIX w., latem mieścił się tu welodrom rowerowy i kort tenisowy (miejsce spotkań młodej elity), zimą ślizgawka dla uczniów za 5 kopiejek. Lodem wylane były również alejki, więc można było spacerować na łyżwach po ogrodzie, a także zrobiono tzw. przełęcz, czyli tor przeszkód, dolinkę, którą trzeba było przeskoczyć. W niedzielę przygrywała łyżwiarzom orkiestra wojskowa z Litewskiego Pułku Lejb-Gwardii. W okresie międzywojennym przychodziły tam wychowawczynie przedszkolne freblanki z dziećmi, a gimnazjaliści ćwiczyli na świeżym powietrzu. Część ogrodu przeznaczono na korty tenisowe. Ponadto był tam sad drzew owocowych, głównie jabłoni.