Pierwszy pałac zbudowano tu na przeł. XVII i XVIII w. dla biskupa warmińskiego Teodora Potockiego. Uliczka wjazdowa była od strony ogrodu saskiego. W 1721 podarował go swemu bratu Stefanowi. , referendarzowi królewskiemu. W 1726, Stefan Potocki odstąpił pałac królowi Augustowi II, który podarował go córce Annie Orzelskiej, która była owocem romansu króla i winiareczki Henrietty Renard. Gdy w 1702 urodziło mu się dziecko z hr Cosel, z Warszawy nadeszła wieść, że Henrietta również urodziła córkę i pyta, co robić. Wściekła hr. Cosel kazała zerwać wszystkie kontakty z matką i córką. Ale to tylko legenda. Przyrodni brat króla znalazł córkę, król ją rozpoznał i otoczył przepychem. Przy pałacu, w 1726, pracowało 600 murarzy, dzień i noc, żeby jak najszybciej zbudować budowlę: zajęło to 6 tygodni (w rzeczywistości ok. pół roku). Wyposażenie, ogród i kaskadę wykonano pod nadzorem Karola Fryderyka Pöppelmana, a projektantem korpusu głównego, skrzydeł i oficyn był Joahim Jauch i Jan Deybel. Później dobudowano jeszcze kordegardę, a za bramą od ulicy mieściła się stajnia. Budynki w głębi służyły jako kuchnia i piekarnia. Dekoracje rzeźbiarskie wykonali Fumo i Camparetti. Całość otaczał piękny ogród. Widocznym miejscem była studnia w charakterze kaskady z posągami bóstw wodnych, parter ozdobiono basenem z posągami i trawnikami. Podobno król zbudował tajny tunel łączący pałac Błękitny z Saskim. W latach 1730-1811 pałac należał do Czartoryskich na skutek zamiany na pałac w Wilanowie. Ówczesna właścicielka, Maria Zofia Denhoff, na skutek usilnych próśb króla Augusta i Elżbiety Sieniawskiej, matki Marii, oddała ona Wilanów królowi. Później Maria ożeniła się z Augustem Czartoryskim. Następnie pałac dostał się Izabeli Fleming, która ożeniła się z Adamem Kazimierzem Czartoryskim. Przerobili oni pałac w 1766-8 pod kierunkiem Fontany i w 1770-81 pod kierunkiem Schroegera. Pierwsza przeróbka polegała na remoncie apartamentów na parterze: Johann Raspe wykonał stolarkę, Benedykt Knor meble, Antoni Stryling lamperie, Gilhaus posadzki, Jan Bojanowski i Szarkowski złocili listwy, Danel Poltz malował supraporty, Johanes Haweman łoże ozdobne, Michał Dollinger marmurowe stoliki, Benoist i Szneyder tapicerkę, Jan Dawid Rykner, Daniel Lobeck i Wojciech Ziębecki ślusarkę, Johann Jacob Johr szyby, Rochus Szachtynger kotlarstwo. Gabinety obito atłasem. Schroeger nadbudował natomiast oficyny nad kuchnią, wozownią, dokończył pokoje, postawił bibliotekę nad oranżerią i dostawił oficynę. Biblioteka była pięknie wyposażona i budziła zachwyt gości, którzy licznie objawiali się w pałacu. Czartoryski w latach 60 XVIII w. prowadził tu salon, w którym gromadził co tydzień takie osoby jak Naruszewicz, Karpiński i Kniaźnin. Tutaj spaliła się 15letnia córka Czartoryskich, Teresa. W trakcie przebierania się na bal, suknia zajęła się od kominka i dziewczyna uległa śmiertelnemu poparzeniu. Czartoryscy stracili serce do tego pałacu i po przeniesieniu się na stałe do Puław, pałac sprzedali w 1811. Kolejni właściciele, Stanisław i Zofia Zamoyscy, organizowali wieczory literackie, Zofia udzielała się charytatywnie, koncerty muzyki (grał tu np. Chopin). W latach 1812-15 gruntownie zmienili pałac wg planów Fryderyka Alberta Lessla i dodali oficynę w 1815-9. W 1816-7 Paweł Maliński wykonał na frontonie pałacu fryz Triumf Bachusa, złożony z 72 figur. Urządzono nową bibliotekę w dawnej masztalerni Czartoryskiego, dzięki uwagom Zamoyskiego budynek uzyskał zabezpieczenie przeciwpożarowe i przeciw wilgoci. Szafy biblioteczne wykonał Nassauer. Oprócz książek Zamoyscy posiadali mnóstwo doskonałych obrazów. W oficynie mieszkała Klementyna z Tańskich Hoffmanowa, autorka poczytnych książek, pisarz i dramaturg Józef Korzeniowski, prof. Filozofii Krystyn Lech Szyrma, literat Feliks Bernatowicz. W drugiej oficynie mieściła się drukarnia Antoniego Gałęzowskiego, mieszkali tu Antoni Odyniec i Jan Ordyniec. W 1866-8 dobudowano bibliotekę. W 1859 dach pokryto nowa blachą. W 1846 runęło zadaszenie biblioteki. Henryk Marconi wykonał plany przebudowy, ale z braku finansów wykonano je w 1854. Nowe szafy biblioteczne wykonał Gajdaszewski. W 1866 Tomasz Zamoyski skatalogował zbiory biblioteczne, a przebudowano bibliotekę wg proj. Juliana Ankiewicza. Zbiory ordynacji Zamoyskich zdobyły wreszcie wysoką rangę naukową. Liczyły 50000 druków plus rękopisy i inkunabuły. W 1896 pracuje tu Żeromski, pomagając Tadeuszowi Korzonowi. Przed samą I wojną Jan Heurich syn dokonał przebudowy niektórych wnętrz. Po wojnie Maurycy Zamoyski udzielił gościny Amerykańskiej Misji do Spraw Żywnościowych. Zbiory książek systematycznie się powiększały. Korzon zresztą mieszkał od ul. Żabiej i urządzał u siebie spotkania kulturalne dla naukowców, pragnących kontynuować tradycje Szkoły Głównej. W 1944 budynek spłonął wraz z dziełami sztuki. Zasoby biblioteki przechowywano w piwnicach, a to co nie spłonęło, wywieziono do Niemiec. W 1945 zabezpieczono ruiny. Odbudowę w 1948 nadzorowali Bruno Zborowski i Zasław Malicki. Rzeźby wykonano w pracowni Władysława Szyndlera. W 1958 w oranżerii umieszczono popularną wśród literatów kawiarnię „Błękitna. Dziś mieści się tu siedziba Zarządu Transportu Miejskiego. Oficyna. Powstała w 1833-5 wg proj. Benedykta Schmidtnera. Po wojnie odbudowana w 1950 wg proj. Bruno Zborowskiego. Umieszczono tu m.in. Towarzystwo Przyjaźni Polsko-Chińskiej.