Il Castello di Lerici, come ogni Castello che si rispetti, ospita il suo buon fantasma. Si tratta di Maddalena di Carlo, detta Madì, gestore dell'Ostello della Gioventù dal 1949 fino alla metà degli anni '70, che mai si è allontanata e mai si allontanerà dalla sua amata residenza. Trattandosi di una fortezza, inoltre, alcuni vani del primo piano erano adibiti a celle. Le prigioni del Castello di Lerici sono divenute famose per aver "ospitato" detenuti molto importanti.