Fortaleza cuya construcción fue iniciada por Gandulf, obispo de Rochester. Su ubicación estratégica responde al deseo de proteger el cruce sobre el río Medway, en la ruta principal a los puertos del Canal. La inmensa fortaleza de piedra, la más grande construida por los normandos que existe en Inglaterra, fue erigida por William de Corbeil, arzobispo de Canterbury, a quien Enrique I concedió la custodia del castillo. La torre suroeste es cilíndrica en lugar de cuadrada, y fue construida para sustituir la anterior, que se había derrumbado en el 1215 durante un sitio. Unos meses después de firmar la Carta Magna, los barones rebeldes tomaron el castillo. El rey Juan dirigió un decidido ataque al castillo, utilizando mineros para excavar bajo la torre hasta que sólo quedaran los soportes de madera como elemento de apoyo. El monarca ordenó entonces levantar una pira que, alimentada con la grasa de cuarenta cerdos, quemó los pilares de madera resultando así en el colapso de la torre.