Ben più imponente, per proporzioni, della Cattedrale che affianca, il palazzo fu eretto dal Rossellino demolendo gli edifici che occupavano il lato destro della piazza. La geniale disposizione prospettica consente di coglierne appieno le rigorose forme rinascimentali, ispirate a palazzo Rucellai di Firenze. Riportato all'aspetto originale, dopo secoli di abbandono, da restauri conclusisi negli anni trenta, ha pianta quasi quadrata e paramento a bugnato liscio ed è scandito da tre ordini di lesene che inquadrano finestre con bifore centinate. Con tre lati di uguale struttura, racchiude un elegante cortile quadrato, cinto da portico ad arcate su colonne con capitelli corinzi e ingentilito da decorazioni a graffito; il primo piano e due lati del secondo sono aperti da finestre guelfe, mentre nei rimanenti lati del secondo piano corre un'agile loggia. Di qui si accede a un giardino pensile*, sul quale prospetta la grandiosa loggia* a tre ordini che chiude a mezzogiorno l'edificio. Dal cortile si sale al primo piano del palazzo dove si visita la sala degli Antenati, con mobile intarsiato del sec. XV-XVI, grande tavolo del '600 e ritratto di Pio II di Ventura Salimbeni; si passa a destra nella sala da pranzo (bel camino, maioliche, coprifuoco in ferro battuto) e a sinistra nel salotto della Musica con pannelli in cuoio impresso del sec. XVII; alle pareti, ritratti vari e tavolo con cartografia della Toscana. In fondo al corridoio, nella sala delle Armi: due battaglie della scuola del Borgognone, strumenti musicali, telai, cassapanche del sec. XVI, bel camino con stemma Piccolomini-Sforza. Di qui si entra nella camera di Pio II con l'effigie del papa a fresco sull'arco della porta (inizi sec. XVI), Madonna col Bambino del sec. XVI, residenza lignea del '500, paliotto e letto della fine del '500, cassone dipinto da pittore senese del primo '500. Nel loggiato sono esposte urne cinerarie e stemmi in pietra. Opposta alla sala delle armi, in fondo a un corridoio, è la biblioteca con incunaboli, opere rare e documenti relativi a Pio II e Pio III. La galleria che dà sulla corte interna è ricca di mobili, dipinti e suppellettili dei secoli XVII e XVIII.