W 1643 powstał tu drewniany dwór wojewodów malborskich i płockich, Denhoffów, obok na posesji stał dwór Jakuba Sobieskiego od strony Dziekańskiej, a od Ossolińskich (wtedy Czystej) dwór kasztelana czerskiego Stanisława Lasockiego. Przed domami rozciągały się ogrody. Przebiegająca obok posiadłości Denhoffów ul. Czysta nie była bezpieczna, wykopali oni głęboki rów, przykryty gałązkami i porośnięty powojem. Wpadały tam gównie bezpańskie knury, wyciągane przez służbę i spożywane, jednak kiedyś wpadł w rów niejaki Bolko z Zakroczymia, zgłaszając sprawę do sądu. Rów istniał jeszcze do XVIII w. W czasie potopu dwory uległy spaleniu. Sobieski podarował ziemię Helenie Załęckiej, siostrzenicy, a Denhoffowie odkupili zgliszcza od Lasockich. Ernest Denhoff zbudował barokowy korpus pałacu głównie za pieniądze zdobyte na chłopach, trzymanych twardą ręką. W 1656-7 pałac był spalony, ale w 1669 Ernest Denhoff odbudował pałac, już murowany. W 1693 posesję odziedziczyła Konstancja ze Słuszków Denhoff. Ten pałac wykupili Potoccy, rozbudowując go wg proj. Jana Kamsetzera. Jan Potocki umieścił tu czytelnię w trzech pokojach, które umeblował i można było poczytać tu gazety polskie i zagraniczne. W 1760-6 Czartoryscy, którzy weszli w posiadanie pałacu dzięki małżeństwu, dobudowali do korpusu skrzydła od ulicy i alkierze od ogrodu, a także przerobili pałac wg proj, Jakuba Fontany i Efraima Schroegera. W 1784-6 wyposażono wnętrza na nowo wg proj. Szymona B. Zuga, rozpoczęta od Pokoju Stołowego. W 1799 pałac otrzymała w spadku Aleksandra, żona Stanisława Kostki Potockiego, który w 1800 urządził tu kilkupokojowy apartament wg proj. Stanisława Loba i wyremontowano resztę pokoi, zdewastowanych przez stacjonujące tu wojska pruskie. Potoccy ciągnęli zyski z odnajmu, mieszkał tu m.in. Julian Ursyn Niemcewicz, a w kordegardzie prowadziła sklep z brązami firma Braci Łopieńskich. W 1807 wydano tu wielko bal na cześć Napoleona. W 1824 zarządcą został Aleksander Potocki, właściciel od 1831. W 1828 Stanisławowa Potocka wyprawiła wielkie przyjęcie z okazji imienin Niemcewicza, który zimował w jednym z mieszkań w oficynie. Zresztą dom Potockiej słynął z zabaw kostiumowych dla wyższych sfer. Przebierano się w stroje z dalekich krain, czy za historyczne postacie. W 1830 działał tu zakład wyrabiający „złote pierścienie z godłem wolności” E. Kelcha. W połowie wieku XIX w. dziedziniec wynajęto Gracjanowi Ungrowi, który wystawił tu drewniak wg proj. Leaondro Marconiego, zwany ‘Szopą Ungra’, przez jakiś czas była to siedziba Towarzystwa Zachęty Sztuk Pięknych. Pokazywano tu m.in. Hołd Pruski, Nanę i Bitwę Pod Grunwaldem Matejki. Pokazywanie Nany spowodowało zamknięcie szopy za gorszenie młodzieży szkolnej. W 1856 Stanisław Potocki umieścił tu wystawę poświęconą starożytności, z której dochód poszedł na schronisko dla ubogich. W 1897 wstawiono bramy z warsztatu Stanisława Zielińskiego wg rysunków Zenona Chrzanowskiego i Władysława Marconiego, a ówczesny właściciel, Józef Potocki, kazał rozebrać szopę Ungra. Na przeł. XIX i XX w. mieściła się tu księgarnia Gebethner i Wolff, magazyn mód Edwarda Lotha, wytwórnia kapeluszy słomkowych i filcowych, skład główny fabryki obić papierowych J. Franaszek, sklep brązowniczy Bracia Łopieńscy, sklep kwiatów Stanisława Sobalskiego (później właścicielami byli Maria i Władysław Rzącówien), konfekcja damska Anny Thones, magazyn bielizny damskiej Gustawa Żmigrydera, sklep z zabawkami J.A. Komorowskiego, magazyn mód „Sidone” Sydonii Knapp. W latach 1881-96 mieściła się tu Zachęta. W 1892 skrzydło w pałacu kupił Arpad Chowańczak dla siebie i swojej firmy garbarskiej, której luksusowy sklep firma prowadziła tutaj. W czasie I wojny urzędował tu pełnomocnik niemieckiego gubernatora Huetten-Czapski. Wyprawiał on bale dla arystokracji i oficerów niemieckich, co wywoływało duże oburzenie w Warszawie. W okresie międzywojennym działały tu nadal księgarnia i sklep firmy Braci Łopieńskich, ale także Centrala Czasopism Zagranicznych Jana i Emilii Nowickich od 1932 od strony Ossolińskich. Od 1926 do wojny, ostatnim właścicielem był Józef Potocki jr. W czasie wojny w mieszkaniu Chowańczaków odbywały się spotkania dowództwa AK i tajne komplety UW. W 1944 budynek zniszczono częściowo, ale w 1949 stał już odbudowany pod kierunkiem Jana Zachwatowicza wg stanu z lat ’60 XVIII w. Dziś mieści się tu Ministerstwo Kultury i Dziedzictwa Narodowego. Wnętrza zachowały wystrój od czasów Czartoryskich, niektóre sale, jak np. Biała i sień, zachowały nawet wyposażenie. Na bramie kutej, zaproj. przez Władysława Marconiego widnieje napis łaciński: Tarcza przeciwstawia się tarczom. Kordegarda. Corps de garde, czyli Strażnica, powstała w 1763 wg proj. Efraima Schroegera. Na przeł. XIX i XX w. mieściły się tu sklep ze słodyczami Franciszek Fuchs i Synowie. Dziś mieści się tu galeria sztuki nowoczesnej.