Fortaleza que, junto a los castillos de Skenfrith y Grosmont, defendía una de las principales rutas en la región fronteriza de Inglaterra y Gales del Sur. A finales de la década de 1130 el rey Esteban unió los tres castillos bajo un señorío que los controlaría como una sola unidad defensiva. En la década de 1180 la fortaleza fue reconstruida en piedra, siendo la primera de los tres castillos en reformarse. El nombre original de la construcción era castillo de Llantilio, aunque consiguió su designación actual gracias al recubrimiento en yeso blanco de sus muros. A principios del siglo XIII el señor de los tres castillos era Hubert de Burgh. Él construyó castillos de piedra modernos en Grosmont y Skenfrith, pero mantuvo las defensas de piedra existentes en White. A diferencia de las otras fortalezas, White parece haber sido fundamentalmente una base militar y no la residencia de una familia noble.