Powstał w 1731-50 dla Józefa Benedykta Loupia na ziemi kupionej od Józefa Grzybowskiego. Jako że Loupi był burmistrzem Warszawy, sprawa była na cenzurowanym i spotkała się z małą przychylnością szlachty, sugerowano, że burmistrz chce wykorzystać trudną sytuację Grzybowskiego. Burmistrz jednak podupadły dworek kupił i zaczął budować pałac, wydając taką masę pieniędzy, że zachwiał obrotem pieniędzmi w mieście. Następny właściciel, kanclerz wielki koronny Jan Małachowski, kupił pałac w 1750 i go przerobił, prawdopodobnie wg proj. Jakuba Fontany. W 1784 Mikołaj Małachowski sprzedał pałac wraz z ogrodem Roeslerowi i Hurtigowi, a ci wystawili tu kamienicę z ogromnym domem handlowym. Za czasów pruskich pałac wystawiono na licytację za 2000 dukatów i budynek często zmieniał właścicieli. W pewnym okresie mieścił się tu orkiestron, czyli specjalna maszyna do gry, jednak grała tak głośno i tak często się zacinała, że policja zakazała używania jej. W czasie wojny został zniszczony, odbudowano go w 1948-9 pod kierunkiem Zygmunta Stępińskiego. Mieści się tu siedziba PTTK i galeria.