W tym miejscu stało skrzydło klasztoru bernardynów, powstałe przez rozbudowanie klasztoru w 1783. Początkowo ta część była wydzierżawiona Ludwice z Poniatowskich Zamoyskiej, potem Szymonowi Janowi Wernerowi. W 1806 budynek zajęły wojska napoleońskie na szpital, więzienie i wytwórnię pałaszy. W 1819 zakonnicy odzyskali chociaż refektarz wg proj. Ch. P. Aignera; wtedy budynek otrzymał kolumnadę. W 1818-21 zbudowano Odwach: wojskową komendę miasta. Wojsko zajmowało budynek do 1861. Wówczas to wynajął go Samuel Orgelbrand, który wraz z terenem przy dzisiejszej Bednarskiej 20 wykorzystał to miejsce do uruchomienia odlewni czcionek a następnie pracowni stereotypii i introligatorni. W latach 1870-4 mieściła się tu galeria wystawowa Warszawskiego Towarzystwa Zachęty Sztuk Pięknych, zanim nie przeniosła się na pl. Małachowskiego. W 1881 urządzono tu Muzeum Przemysłu i Rolnictwa. W 1890 w pracowni fizycznej Maria Skłodowska rozpoczęła eksperymenty. W 1906 powstało tu Polskie Towarzystwo Krajoznawcze. Na przeł. XIX i XX w. mieściła się tu także Zachęta (od 1867), skład lamp naftowych S. Lehoczky i K. Artzt, później Władysława Podgórskiego. We wrześniu 1939 budynek spłonął wraz z cennymi eksponatami muzeum. W 1944 budynek został spalony, a po odbudowie umieszczono tu Centralną Bibliotekę Rolniczą.