Poco dopo la costruzione della cattedrale di S. Venceslao, ultimata nel 1150, le venne edificato accanto un palazzo residenziale che nella sua grandezza doveva testimoniare l'importanza assunta dalla città.
Splendido il chiostro quattrocentesco del complesso, cui si accede dall'ingresso tra S. Anna e la cattedrale. All'interno del palác si ammirano affreschi e la cappella di S. Giovanni Battista, nella quale è allestita una esposizione archeologica. Si sale per una scala a chiocciola al piano dove nel 1867 è stata scoperta una serie di magnifiche bifore e trifore di epoca romanica, oltre a tracce di sale risalenti alla prima fase costruttiva della residenza. Notevoli le opere scultoree, forse opera delle botteghe tedesche di Spira, con cui il vescovo Zdík dovette entrare in contatto nel corso dei suoi viaggi sul Reno.