De graven van Sutherland hadden reeds rond 1235 een kasteel op de plaats van het huidige kasteel staan. Het oudste deel van het huidige kasteel werd gebouwd in 1401. Tussen 1672 en 1682 werd aan elke kant van de woontoren een L-vormige vleugel gebouwd.

Tijdens de opstand van de Jacobieten in 1745 bestormden deze Dunrobin Castle en namen het in. William Sutherland, zeventiende graaf van Sutherland, wist nipt te ontsnappen. Hij zeilde naar Aberdeen waar hij zich bij het leger van Willem van Cumberland voegde, dat in de Slag bij Culloden een einde maakte aan de opstand.

Tussen 1845 en 1851 is het uiterlijk van het kasteel veranderd tot wat het thans is door de architect Sir Charles Barry. Franse invloeden zijn herkenbaar, ook in de opzet ala Versailles van de tuinen. De laatste wijzigingen, voornamelijk van het interieur, werden aangebracht tussen 1914 en 1921 door Sir Robert Lorimer.

In 1963 erfde Elizabeth Janson, gravin van Sutherland, het kasteel. Het kasteel werd in gebruik genomen als jongensinternaat tot eind jaren zestig het weer een woonhuis werd.