"Als een huis volbouwd is breekt men de steigers af" is het spreekwoord. Maar soms stort een huis als een kaartenhuisje in elkaar.( Een gezegde) Dat gebeurde met stukken van dit paleis.Het verhaal is als volgt: Gaudi kreeg de opdracht van de Bisschop van Astorga om een paleis te bouwen. Hoewel hij druk bezig was met de bouw van de Sagrada Familia en met Park Guell in Barcelona zei hij er ja tegen. Hij maakte foto's van de omgeving en tekeningen hoe het er uit moest zien. Maar er ontstond ruzie over het materiaal en de uitvoeren waardoor het werk een aantal keren stil kwam te liggen De Bisschop heeft het werk nooit af gezien. Gaudi was boos op degenen die alles tegen hielden. Hij verbrandde de tekeningen voor de bouw. Andere architecten namen het werk over maar omdat ze niet wisten hoe het moest stortten delen in. Later is het toch nog goed gekomen. Zie hier!. Het witte granieten steen bij de voorgevel staat symbool voor het wit van het bisschoppelijke gewaad!