È conosciuto soprattutto per la sua storica Rocca malatestiana, che assieme al suo borgo fortificato ed alla sua cinta muraria rappresentano un caratteristico esempio di architettura medievale.
La storia antica di Gradara è strettamente legata al suo Castello, che risale alla prima metà del XII secolo, e alle famiglie che lo hanno dominato: i Malatesta, gli Sforza e i Della Rovere.