Pustinja je jedan od najpopularnijih muzeja u našoj zemlji, njegova slika čvrsto je povezana u našim glavama s elegantnim dvoranama Zimske palače. Doista, Zimska palača je glavna i najveća građevina muzeja, njezina posjetnica. No, Zimska palača počela se pretvarati u objekte za prikaz tek u dvadesetom stoljeću. Pustinja kao muzej nije započela odavde.
Prvom muzejskom zgradom u arhitektonskoj cjelini Zimske palače može se smatrati Mali pustinjak, arhitekti Felten i Wallen-Delamot. Ova zgrada sastoji se od dva paviljona - sjevernog i južnog, te dvije galerije koje se nalaze na bočnim stranama Visećeg vrta. Galerije su izgrađene posljednje, ali su im predviđene za izlaganje umjetničkih predmeta. Slike u galerijama postavljene su metodom kontinuiranog visećeg "trzaja".
S obzirom na svrhu, zidovi galerija su vrlo suzdržani. Glavni dekorativni teret pada na platno, ukrašen je raznim lijepljenjem štukature, a kako bi se izbjegla monotonija, zbog velike duljine, ovdje se izrađuju malene lažne kupole i cilindrični lukovi. Ispod kupola u cvjetnim medaljonima nalaze se portreti reljefnih profila poznatih zapadnoeuropskih i ruskih umjetnika, kipara, znanstvenika i arhitekata - Ticijana, Rubensa, Ghibertija, Martosa, Murilla i drugih. To su, prema njihovim tvorcima, trebali biti muzejski interijeri kasnog klasicizma.
Druga građevina, namijenjena skladištenju predmeta umjetnosti, bio je Veliki pustinjak, tada nazvan Stari. U početku su se sastojale od dvije građevine - zgrada u skladu s Malom pustinjom uz nasip palače i zgrada Loggia Raphael, izgrađena nešto kasnije, okomito na prethodnu zgradu, duž zimskog kanala. U Velikoj pustinji arhitekta Feltena nalazila se knjižnica ruske literature, neke su sobe bile rezervirane za stambene odaje.
U zgradi lože Rafaela, arhitekt Quarenghi nalazio je ne samo kopije vatikanskih freski. Dvorana s prozorima u dvorište, prostorima Sjevera i Juga na njenim krajevima bili su namijenjeni skladištenju umjetničkih zbirki. Izrada njih bila je prilično jednostavna. U središnjoj dvorani su se iznad prozora nalazili medaljoni s reljefima, a na krajevima su poredane niše s polusfernim stropovima. U prizemlju, čiji je raspored gotovo točno odgovarao gornjoj, s vremenom je bila uređena knjižnica strane literature. Raphael Loggia Corps potpuno je izgubljen, preostao je samo zid na strani kanala. Soba s primjercima slika Vatikana ugrađena je u zgradu Novog Ermitaža.
Nakon otvaranja Novog Ermitaža, skup palače preselio se tamo. Sredinom 19. stoljeća arhitekt Stackenschneider uredio je dnevne sobe, učionice i svečane dvorane u bivšim izložbenim prostorijama Starog pustinjaka. Prizemlje su neko vrijeme zauzimale državne institucije.
Trenutno je drugi kat ponovno rezerviran za izložbene dvorane. Ovdje je sačuvan izgled dvaju uzdužnih apartmana - jedan okrenut prema nasipu, drugi prema dvorištu, a obloga koju je Shtakenschneider namijenio za stambene komore. Posebno elegantno uređene su dvorane s prozorima na Nevi - Prednja enfilada. Otvara ga prijašnji ured s jasperskim stupovima, slikovitim pilastrima, obojenim drvenim vratima s oslikanim porculanskim medaljonima, pozlaćenim štukaturama i slikovitim pločama na stropu i iznad vrata. Dekoracija najveće i najelegantnije dvorane dvorane Starog pustinjaka zadivljuje raznolikim ukrasnim elementima i materijalima. Ovdje jasper i mramor, porfir i lapis lazuli. Druga soba je osmerostrana u tlocrtu, blokirana kupolom. Ovdje, kao i u sljedećim sobama, glavni dekorativni teret pada na strop, obilno ukrašen pozlaćenim štukaturama i utisnutim desyuportyem sa slikovitim umetcima.
Dvorana Novog Ermitaža već imaju specifičan muzejski karakter. Za dizajn je bio uključen njemački arhitekt Leo von Klenze, koji je već imao iskustva u izgradnji javnog muzeja - Pinakothek München. Izgradnju zgrade i uređenje vodio je N. Efimov.
Prema Klenzeovoj zamisli, u prizemlju je trebala biti izložena skulptura antičkog i modernog vremena, kao i antička umjetnost. Stoga su neke dvorane uređene u drevnom duhu. Jedna od njih - Dvadeset stupaca bila je namijenjena grčkim i etruščanskim vazama. Izgrađena je poput antičke bazilike. Strop je prekriven slikama u stilu antičke keramike, a na zidovima su scenske kompozicije u grčkom stilu. Pod je popločan akantovim ukrasima i meandrom. Još jedna dvorana antičke skulpture riješena je u obliku antičkog dvorišta. Ukrašena je bijelim kaniliranim korintskim stupovima, zidovi su obloženi umjetnim mramorom tamno ljubičaste boje, a popločani pod ukrašen je geometrijskim i cvjetnim ornamentima.
Dvorana u kojoj je arhitekt namjeravao izložiti skulpturu suvremenog doba dopunjena je medaljonima s profilima Michelangela, Canova, Martosa i drugih. Portreti izvrsnih kipara smješteni su na stropu koji u ovoj dvorani nosi glavno dekorativno opterećenje. Svod je prekriven kutijskim svodom s oplatama i obilno je prekriven štukaturama. Zidovi su prekriveni dubokim zelenim umjetnim mramorom.
U preostalim dvoranama prvog kata zidovi su također obloženi umjetnim mramorom u boji, a stropovi su ili oplate obojene cvjetnim uzorkom u antičkom duhu, ili ravne, ukrašene ukrašenim kesonima.
Na drugom katu otvara se galerija Povijesti antičkog slikarstva. Galerija se sastoji od četiri kvadratne sobe od kojih je svaka blokirana kupolom. Na jedra koja podupiru kupole postavljeni su portreti reljefa istaknutih umjetnika, među kojima je bio i sam Leo von Klenze. Za ukrašavanje galerije napisane su slike koje govore o povijesti slikarstva.
Najsvečanije prostorije drugog kata su enfilade od tri dvorane s nadzemnom svjetlošću. Gigantski svodovi svodovi u potpunosti su prekriveni arabeskim kalupima. Dvorane su dizajnirane za radove velikog formata. Šatorska dvorana karakteristična je po tome što je na njezinom zabatnom stropu vidljiv čitav rafter sustav prekriven slikarstvom.
Značajka Novog pustinjaka je ta građevina zamišljena i utjelovljena upravo za izlaganje umjetničkih predmeta. Sredina 19. stoljeća u ruskoj arhitekturi bila je doba okretanja različitim arhitektonskim stilovima prošlosti. Uređujući dvorane namijenjene muzeju, pokušavajući stvoriti sklad predmeta i interijera koji se izlažu, Leo von Klenze imao je sretnu priliku koristiti elemente grčke, rimske i renesansne arhitekture.
