Isolato, con intorno le acque del fossato, fu costruito a partire dal 1385 e completato nel sec. XVI. Del grandioso manufatto, oggi organismo museale, si visita il quattrocentesco cortile, quadrato, riconfigurato nelle linee attuali verso la fine del sec. XV e aperto su un lato da un'ampia loggia a otto arcate sostenuta da colonne con capitelli rinascimentali; le sale decorate, tra cui il salone dei Giochi*, che ha sul soffitto, incorniciati da fregi e grottesche, una serie di pregevoli *affreschi profani dedicati a giochi e sport atletici (lotta libera e greco-romana, lancio del disco, sollevamento e lancio del peso, gioco dei cerchi, della palla, dell'altalena, corsa delle bighe ecc.), probabile lavoro del Bastianino, eseguito, poco dopo la metà del Cinquecento, forse con la collaborazione del padre Camillo e del fratello Cesare; visitabili sono anche la saletta dei Giochi, con affreschi pure del Bastianino, e la sala dell'Aurora; la loggia degli Aranci, col giardino pensile affacciato sulla città; il corridoio dei Baccanali, la cui decorazione affrescata, attribuita a Girolamo da Carpi o al Bastianino, rappresenta il trionfo di Arianna, la vendemmia e il trionfo di Bacco e sarebbe derivata da originali di maggiori dimensioni di Raffaello e Tiziano; la cappella ducale o di Renata di Francia, moglie di Ercole II; le prigioni sotterranee dove ebbe tragico epilogo l'amore di Parisina, sposa di Niccolò III, per il figliastro Ugo.