Si cominciò a dare la "patina" estense proprio con il Palazzo Ducale che Francesco I fece costruire a partire dal 1634, su disegno di B. Avanzini, sui resti del castello di Obizzo. La costruzione, che si segnala come illustre esempio di architettura civile secentesca, ha un tono elegante per le soluzioni architettoniche, ma imponente per le dimensioni, composta com'è da tre torrioni emergenti dal raccordo formato da due lunghi corpi di fabbrica a tre piani, sormontati da una balaustra marmorea.

La torre centrale, con l'aggiunta di altana con torresino e anche grazie alle colonne e alle lesene, assume un accentuato andamento ascensionale, bilanciato però dalla più asciutta orizzontalità della facciata, il cui 'timbrò caratteristico si individua nel motivo delle finestre accoppiate. I lavori durarono per secoli, tanto che le ultime statue, scolpite da G. Graziosi, furono collocate sulla balaustra di sinistra nel 1926, in sostituzione delle originali in legno, ormai logorate. (Chi voglia apprezzarne il modellato più a portata d'occhi, può vedere i gessi di "Bacco" e di "Cerere" nella Gipsoteca Graziosi al Palazzo dei Musei). Il palazzo è composto secondo una "sintassi" aulica: ampi finestroni con coronamento rettilineo, ricurvo e triangolare, nella successione dal primo al terzo piano; pilastri e colonne, due doppie fasce segnapiano, finestrine curvilinee nella decorazione del cornicione, balaustra marmorea sormontata da statue simboleggianti virtù e personaggi mitologici, due nerborute e imponenti statue (Ercole ed Emilio Lepido) a fianco del portale d'ingresso. Se un consiglio si può dare al visitatore, è quello di cogliere la visione del palazzo nella prospettiva di via Farini: dallo scorcio emerge solo il corpo centrale, che però risalta con imponenza e leggerezza insieme, come parte integrante della città.

Sicuramente più dimesse, ma ugualmente degne di nota, sono le Scuderie Ducali, costruite nel XVII secolo in Corso Canalgrande, proprio di fianco alla residenza estense, e attualmente adibite a Caserma di Cavalleria.

Data la sua destinazione a sede dell'Accademia Militare, il Palazzo Ducale è aperto ai cittadini solo su richiesta per visite guidate e il 4 Novembre, o la domenica più vicina a quella data. Solo in questa occasione è possibile passare, attraverso il Cortile d'Onore, oltre la facciata nord del Palazzo, fino in corso Vittorio Emanuele II (un tempo sede del porto navile), recuperando così un uso abituale per la città fino all'inizio del '900. È anche la circostanza in cui si può apprezzare la sobrietà del Cortile d'Onore, cui il motivo delle serliane conferisce insieme leggerezza e austera eleganza, sottolineata anche dai balaustrini di marmo al primo e al secondo piano.

Alla sinistra del Cortile d'Onore una loggia trasversale conduce a quello Scalone d'Onore, che è l'altro acuto architettonico del "palazzo nascosto": ciò grazie alla sua capacità di unire funzionalità e solida eleganza alla singolare luminosità che gli deriva dall'affacciarsi su due cortili. L'interno conserva ben poco di quella che fu la residenza ducale, la cui traccia più cospicua è reperibile altrove, nella Pinacoteca che ha ora sede nel Palazzo dei Musei.

Restano due significative testimonianze pittoriche del '600 nei soffitti del Salone d'Onore e della sala attigua; interessanti come esempi di una pittura capace di riempire e di "sfondare" illusionisticamente gli spazi, sono anche prova della volontà di auto glorificazione estense: nel Salone d'Onore, infatti, la guerriera Bradamante viene incoronata da Giove in Olimpo, mentre l'aquila estense del suo scudo la presenta come progenitrice del casato e delle sue glorie militari.(Per meglio apprezzare l'opera di M. A. Franceschini, offuscata nel Salone d'Onore dal fumo di un incendio, si può vedere in alternativa, nel coro della chiesa di S. Carlo, il suo "S. Carlo che prega per gli appestati").

La risorgimentale statutaria ottocentesca si è presa vendetta degli Estensi collocando, proprio di fronte al portone d'accesso, il monumento a Ciro Menotti, il promotore dei moti del 1831, che fu catturato e impiccato dal duca Francesco IV. D'altra rivalsa storica è testimonianza la statua della Libertà, accanto all'ala sinistra del Palazzo, in Piazza San Domenico, di fronte all'omonima chiesa secentesca: eliminata durante il fascismo dal piedistallo che rimase nudo per decenni, fu di nuovo modellata dallo scultore modenese M. Quartieri e ricollocata al suo posto nei primi anni ottanta.