In 1286 vroegen de gebroeders Henric en Diederic Borre toestemming aan graaf Floris V om bij het dorp Amerongen een versterkt huis te bouwen. En zo geschiedde. In de loop der jaren werd het huis meerdere keren aangevallen en weer (steviger) herbouwd of opgeknapt. Langzaam maar zeker werd het zo een kasteel. Kasteel Amerongen ligt overigens prachtig in de uiterwaarden van de Nederrijn.