Il massiccio castello, il più antico della città, caratterizzato dalle alte e severe cortine giallastre, sorge su un isolotto roccioso, l'antica «Megaris», occupato in età classica da una parte della villa di Lucullo. L’origine della fortezza, chiamata così forse per la forma ovale della struttura, risalirebbe al XIII-XIV secolo, con pochi interventi successivi. Ampliato dai Normanni e poi da Federico II, quando assolse le funzioni di residenza reale e di sede del tesoro regio. Nel Cinquecento venne profondamente ristrutturato, abbattendo le torri e gran parte delle strutture medievali per adeguare la fortificazioni alle nuove esigenze dettate dalle armi da fuoco; altre modifiche vennero apportate nel XVII e XVIII secolo. È stato restaurato in maniera radicale dopo la dismissione, nel 1975, da parte dei militari. Nel castello solo alcuni spazi sono destinati a ospitare uffici consoni all'eccezionale importanza del monumento ed è grazie alla loro presenza che parte delle strutture sono visibili al pubblico. Percorso il ponte, si passa un portale affiancato da un rivellino. Dal vestibolo inizia a sin. la via in continua salita che fiancheggia e poi attraversa il castello in tutta la sua lunghezza; vi si segnalano, oltre a viste impressionanti e spettacolari sulle cortine murarie, sul mare e sulla città, alcune strutture che mostrano la stratificazione monumentale. Si sottopassa la torre di Normandia, su archi in piperno aragonesi; in alto, sulla muratura esterna, sono parti della merlatura medievale. Proseguendo si trovano a d. i resti della chiesa del Salvatore (poi dedicata a S. Sebastiano, ornata da quattro colonne di spoglio e affreschi tardo-bizantini e barocchi), risalente al sec. VII; a sin., la Sala gotica, coperta a volte, poi la Torre maestra e quindi, a d., una loggia del sec. XIV, trasformata nel XIX in cappella. Si riprende a salire e a sin. per una scala si scende all'insediamento basiliano, tradizionalmente detto romitorio di S. Patrizio, scavato nella roccia, un tempo dimora, luogo di culto e sepolcreto; nel corso dei restauri sono venuti alla luce altri due romitori scavati nel tufo. Proseguendo si passa sotto volte a crociera gotiche, su pavimento originario del sec. XIV, e si accede al grande terrazzo panoramico. Altri ambienti interessanti sono la loggia quattrocentesca e la cosiddetta sala delle Colonne, cui si accede da una piazzetta; si tratta di un ambiente conventuale basiliano, diviso in quattro navate da archi poggianti su 12 rocchi di antiche colonne marmoree scanalate.