Hasta finales del siglo XVI, gran parte de las tierras bajas entre Rye y Winchelsea formaban un puerto poco profundo conocido como Camber. Estaba protegido desde el mar gracias a unas barreras de guijarros. Entre los años 1512 y 1514 sir Edward Guldeford construyó una torre circular en el extremo de una de esas barreras para defender el puerto. En 1538, la amenaza de invasión por parte de los católicos franceses y españoles resultó en la construcción de fuertes provistos de artillería a lo largo de la costa sur, por orden de Enrique VIII, para proteger zonas estratégicas y vulnerables. La torre de Camber quedó incorporada a un fuerte construido entre 1539 y 1544. No obstante la vida útil del castillo fue breve. Para finales de siglo la acumulación de sedimentos en Camber abocó al castillo a la obsolescencia, y en 1637 se la guarnición quedó disuelta. Este temprano abandono de la fortaleza significa que, a diferencia de otros fuertes de la época que fueron modificados, como el castillo de Walmer, la construcción de Camber mantiene el diseño original.