Enfatizzato, per contrasto, dalla discrezione architettonica del contesto circostante, al centro della piazza si erge il Palazzo ducale, fastoso nella sua poderosa mole quadrilatera. Sorse a partire dal 1630 c. attorno al nucleo del castello fondato dagli Estensi nel 1288, distrutto ai primi del '300 e ricostruito dal 1336.L'edificio vide mutare il proprio ruolo difensivo nel 1598, quando, eletta Modena capitale dello stato, la corte vi si trasferì da Ferrara. Fu con Francesco I, regnante dal 1629, che se ne poté configurare una fisionomia di aulica rappresentanza. Attribuita la funzione difensiva alla Cittadella, si progettò un grandioso edificio che si agganciasse ai lati nord e ovest del castello, inglobandolo. Bartolomeo Avanzini realizzò la lunghissima facciata a tre ordini di finestre su doppie cornici marcapiano e balaustrata sul cornicione, fra due torri angolari; al centro, il torrione che si alleggerisce progressivamente nella sopraelevazione della loggia a tre arcate e in quella dell'orologio, collocato nel 1756. Ai lati del portale le statue di Ercole e di Emilio Lepido di Prospero Sogari, tra colonne libere che reggono la balconata. Il basamento pieno, tipico della cultura romana fra tardo manierismo e barocco che pur incise sulla progettazione, è qui sostituito dalle aperture dell'interrato, quasi che il palazzo sorga dal terreno piuttosto che vi si imponga.Se l'abbinamento delle finestre accresce la valenza dei vuoti sui pieni, con effetto di superficie traforata invece che di mole oppressiva, la balaustrata superiore, con statue di divinità mitologiche, esalta l'impressione di ariosità.Di notevole interesse anche il magnifico cortile d'onore, a pianta rettangolare, cinta da porticato e loggia superiore, strutturati entrambi su archi a tutto sesto poggianti su colonne libere e inquadrati nella maglia composta delle lesene e della balaustrata (l'attico è aggiunta del primo Ottocento); l'aerea sequenza di arcate fu concepita come perno fra l'edificio originario del castello e i corpi aggregati. Luogo cerimoniale per eccellenza, media l'accesso allo scalone la cui struttura, pur modellata su quella del romano palazzo Barberini, è reintrerpretata in chiave scenografica emiliana.Il palazzo Ducale è dal 1862 sede dell'Accademia militare.