W XVI w. stał tu dwór z gankiem od strony Wisły Radziejowskich. W XVII w. stała tu brama wjazdowa na teren parku kazimierzowskiego i stajnie pałacowe. Obecny pałac powstał w 1785-92 wg proj. początkowo Stanisława Zawadzkiego (do 1786), potem Jana Chrystiana Kamsetzera dla marszałka wielkiego litewskiego Ludwika Tyszkiewicza. Sztukaterie we wnętrzach wykonali Giuseppe Amadio i Paolo Casasopra, polichromie Laurenty Jasiński, a rzeźby Johann Dult. W 1820 pałac kupił gen. Stanisław Mokronowski, a w 1825 Anna z Tyszkiewiczów Potockiej. W 1821-2 starą, drewnianą oficynę zastąpiono nowym skrzydłem wg proj. Fryderyka A. Lessela. W 1840-1923 pałac był własnością Potockich. W 1841-2 powstała nowa oficyna wschodnia wg proj. Henryka Marconiego. Potem pałac należał do Banku Gospodarstwa Krajowego, a od 1933 siedzibę miała tu Polska Akademia Literatury. W 1944 został spalony, a po odbudowie w 1951-5 wg proj. Jana Dąbrowskiego, przyznano go UW na część zbiorów bibliotecznych. Zachowała się fasada z atlantami i kilka oryginalnych wnętrz: Sala Bilardowa, Łazienka dzieła Henryka Marconiego, Sala Stołowa i Sala Gościnna. Oficyny nie zostały odbudowane. Wejście zdobią posągi atlasów dłuta Le Bruna.