Az épület helyén állt hajdan egy gótikus palota, majd később itt volt a régi püspöki rezidencia is, ez azonban szintén elpusztult a török harcok idején. 1704-ben az egész vár leégett, így új palotát kellett építeni. Amikor 1723-ban gróf Esterházy Imre Veszprém püspöke lett, nekilátott a Vár újjáépítésének, rendezésének, de a rezidenciára nem volt ideje, mert 1725-ben kinevezték esztergomi prímásnak. Később utóda, Acsády Ádám a pápai bullában feladatul kapta a püspöki épület újjáépítését. Ezt meg is tette, de se ő maga, sőt utóda, Padányi Biró Márton sohasem lakott benne. Padányi egyébként is elégedetlen volt az épülettel, szűkösnek és püspökhöz méltatlannak találta, ezért a szemináriumot helyezte el benne. Az őt követő, Koller Ignác püspök kezdte el építtetni a ma is álló, pompás palotát.

Koller püspök már püspökké iktatása után közvetlenül felkereste Fellner Jakabot, mint ezt egy 1763-ban küldött levélben olvashatjuk, melyet a családi jószágkormányzó írt a szintén nagy építtető, Esterházy Károly egri érseknek: "Sok a dolga a jámbornak, már a veszprémi püspök is bombardérozza pro residentia való projektumnak készítésére".Már az építés közben oly nagy híre volt a készülő mű szépségének, hogy messze földről jöttek emberek, hogy megcsodálhassák az épületet. Ráadásul annak is híre ment, hogy még vízvezetéket is építenek, ami akkoriban nagy luxus volt Magyarországon.E páratlan vízvezetéket Tumler György, az ezermester molnár kezdte építeni, halála után fia, Henrik fejezte be 1767. szeptember 13-án. (Tumler Henrik készítette ugyancsak a budai vár első vízvezetékét.)

Az érseki könyvtár és levéltár

Az érseki palota levéltárában körülbelül másfélezer Mohács előtti oklevelet őriznek, de jelentős a könyvtár középkori és kora újkori gyűjteménye is. A levéltárban van Magyarország legkorábbi, eredetiben megmaradt magánoklevele, a Guden-féle végrendelet 1079-ből, de van itt több irat Kun Lászlótól és Vetési Albert püspöktől is. A könyvtár régi gyűjteménye jelentős. Külön őrzik Koller Ignác hagyatékát, amely az ő emlékkönyvtára.

Az épület

A vár belseje felé eső homlokzaton látható az építtető Koller Ignác püspök címere. Az épület előcsarnoka a lépcsőházzal, valamint a díszebédlő gyönyörűen tele van festve. Az épület falképeit Johann Cymbal készítette. A palota legszebb része a kápolna, melynek mennyezetét szintén Cymbal freskója díszíti, és itt áll Padányi Bíró Márton püspök szépen művészien faragott térdeplője.

A Képteremben a veszprémi püspökökről és érsekekről készült festményeket őrzik, és egy gyöngyházberakásos bútort, ami pedig Mária Terézia adománya; Koller püspök halála után ugyanis a királynő maga fejeztette be a palota építését. Nagyon értékes a kép, porcelán és bútorgyűjteménye, de talán még ennél is érdekesebb a könyvtár és a levéltár. /Forrás: wikipédia/