W 1593 powstał tu dwór biskupa płockiego Wojciecha Baranowskiego na miejscu różnych dworków i browarów. W 1613 Baranowski oddał posesję kapitule gnieźnieńskiej, przeznaczając dwór na mieszkania prymasów. Budowę dworu zakończył prymas Wawrzyniec Gembicki, a ozdobił prymas Jana Lipski. Dwór został zniszczony w czasie potopu szwedzkiego. W 1691 został przebudowany przez Tylmana z Gameren dla prymasa Michała Radziejowskiego. Każdy kolejny prymas dokonywał jakichś przeróbek, największych Antoni Ostrowski i Michał Poniatowski, kiedy to dodano portyk i galerie, wg proj. Efraima Schroegera w 1777-83, resztę zrealizował Szymon Bogumił Zug w 1784-9. Dekoracje sztukateryjne wnętrz wykonał Antoni Graff. W czasie oblężenia pruskiego prymas Poniatowski wysłał list do Prusaków ze wskazaniem słabych punktów obrony miasta. Zdradziecki list przejęli jednak Polacy i podeszli pod pałac, chcąc powiesić zdrajcę. Prymas w obawie przed stryczkiem zażył jednak truciznę. Po upadku kraju siedzibę miał tu Suworow, ale papież, niechętny Polakom, podarował pałac królowi Pruskiemu Karl Georg Heinrich von Hoym. W 1815 umieszczono tu Komisję Rządową Wojny, w 1870-5 wojskową szkołę junkrów, biura oberpolicmajstra Warszawy, a od 1927 Ministerstwo Rolnictwa. W XIX w. często przebudowywano pałac, dobudowano piętro. W 1939 pałac został spalony, odbudowany w 1949-50 pod kierunkiem Stanisława Marzyńskiego na potrzeby Ministerstwa Kultury i Sztuki. Pomnik Stanisława Staszica. Pomnik ustawiono (bez odsłonięcia) w 150. rocznicę śmierci Staszica, w 1976. Autorem jest Stanisław Lipski. Pomysł pomnika przedstawiło Towarzystwo Przyjaciół Warszawy w 1967. Z braku funduszy wykorzystano głaz narzutowy, ofiarowany przez Muzeum Ziemi, w którym wykuto popiersie Staszica. Na głazie widnieje napis: Stanisław Staszic (1755-1826) Wielki patriota, mąż stanu, przyrodnik, działacz oświatowy, społeczny. Prekursor geologii, górnictwa, hutnictwa i spółdzielczości. . Protektor nauk rolnictwa i leśnictwa. W 1976 roku w 150. rocznicę śmierci składa hołd Naród. W 2009 pomnik usunięto i...?