La parte monumentale della città si identifica con il castello, in posizione strategica sullo sbocco del Panaro nella pianura e per il controllo dell'antica via Claudia, verso il bolognese. L'edificio è imponente, nato dalla somma di parti diverse, cresciute nel tempo a partire dal X secolo e dominato dalla mole di tre torri: quella delle Donne, quella del Pennello, quella di Nonantola, l'unica costruita prevalentemente con ciottolo di fiume anziché‚ in cotto. L'esterno porta i segni dello sforzo difensivo: un ampio fossato; un susseguirsi di rivellini e porte che, con le imposte dei bolzoni, denunciano l'esistenza di ormai spariti ponti levatoi; il camminamento di ronda, che collega le torri. Nell'interno si apprezza la funzione abitativa del castello: nei sotterranei le due sale dei Contrari e dei Grassoni sono ora usate per convegni e concerti; nel piano terra stanno le sale che, a causa dei motivi affrescati sulle pareti, sono chiamate dei Leoni e dei Leopardi, delle Colombe, degli Anelli; al primo piano sono collocate le stanze nobili, insieme allo Studio e alla Cappella, affrescata in stile tardo gotico dal Maestro di Vignola.