Początkowo stała tu od 1775, wg proj. pewnie Schroegera, kamienica kupca bławatnego Izaaka Olliera, zwanego Olejem. W latach 1848-9 przebudowano pałac gruntownie wg proj. Henryka Marconiego. Budynek podwyższono o piętro, zachowując belwederki. Jego właścicielami byli najpierw Pusłowscy, potem Kossakowscy po 5 latach. W 1858 dyplomata Stanisław Szczęsny Kossakowski przerobił wnętrza pałacu wg proj. Lanciego. W październiku 1859 w odnowionych wnętrzach wydano huczny bal na cześć młodego cara Aleksandra II. Pod koniec XIX w. mieściła się tu mleczarnia z barem i mieszkał tu architekt Edward Cichocki. Od zimy 1874 odbywały się tu słynne wieczory literackie w co drugi piątek miesiąca, w których brało udział nawet do 170 osób. W latach 1892-5 miał tu pracownię malarz Władysław Podkowiński. W 1911-2 założono na tyle kamienicy kryte lodowisko dużych rozmiarów Palais de Glace wg proj. Stefana Szyllera dla spółki Cynamon, Wiśniewski & S-ka. Sala była długa na 50 m, wsparta na 16 słupach. System chłodniczy zaprojektował inż. Adam Słucki. Z okazji sylwestra 1912 wystawiono pantomimę „Książę karnawału w krainie wiecznych lodów”. Lodowisko zamieniono po paru miesiącach na Skating Ring dla wrotkarzy, a potem na kino. Od 1913 we froncie kamienicy działał teatrzyk Bi-Ba-Bo. Istniały tu również zakłady: fotograficzny J. Raczyńskiego i fryzjerski „Władysław”. W 1915 w Palais de Glace istniał Teatr Na Czasie, gdzie występowała nawet Pola Negri. W 1919 na miejscu teatru ulokowało się kino Colosseum z salą na 2360 widzów. W latach ’20 działała tu restaurację firmy Brachowski i Ska. W Colosseum parokrotnie wygłaszał swe mowy Piłsudski (20.01.1924 i 15.03.1926). W latach ’30 wieku XX właściciele zubożeli i pałac stał się zwykłą czynszówką. Działały tu wówczas Perfumeria Francuska J. de Turnemine’a, sklep z zabawkami Janiny Heller A. Graff, zakład fotograficzny Jana Raczyńskiego, sklep z obuwiem Leona Doleya. Do czasów Powstania Warszawskiego działał tu teatrzyk Wesoły Ul na 460 miejsc, powstały na resztkach kina Colosseum w 1940. W czasie wojny został zniszczony, jednak szwedzka firma ASEA odbudowała pałac i służył on różnym skandynawskim firmom jako siedziba ich przedstawicielstw. Projekt wykonał Mieczysław Kuźma.