Invergordon temprano
Originalmente conocido como An Rudha, «la punta» o «el Ness», Invergordon recibió su nombre de Sir William Gordon, un terrateniente local de principios del siglo XVIII. Durante siglos, la finca donde ahora se encuentra Invergordon se conocía como Inverbreakie (la desembocadura del Breakie); presumiblemente, el Breakie era el arroyo que desemboca en el estuario en el puente de Rosskeen, cerca de la antigua iglesia parroquial. La primera mención de Inverbreakie data del siglo XIII, cuando el castillo, situado a aproximadamente una milla tierra adentro del Ness, estaba ocupado por un flamenco; se dice que fue colocado allí por Guillermo el León. Desde tiempos muy remotos, existían algunas casas con techo de paja cerca del lugar donde ahora se encuentra el puerto; estas eran conocidas como «Las Casas del Ferry».
El castillo y la finca fueron adquiridos por Sir William Gordon a principios del siglo XVIII. Durante su vida, el castillo, originalmente una modesta vivienda, se amplió considerablemente y, al mismo tiempo, se mejoraron los terrenos y se elaboraron planes para la construcción de una ciudad cerca del río Ness. A William le sucedió su hijo, Sir John, a quien se puede considerar el verdadero fundador de la ciudad. Sus ambiciosos planes incluían el desarrollo industrial, pero se vio obstaculizado por las deudas heredadas. Sir John falleció sin descendencia en 1773. Dicho Sir John encargó un busto a Esme Bouchardon, una de las escultoras más prestigiosas del siglo XVIII; el busto fue esculpido mientras Bouchardon estudiaba en Roma y realizaba encargos privados para muchas de las personalidades más importantes de Europa que visitaban la ciudad.
En 1780, la finca de Invergordon fue adquirida por Robert III Macleod de Cadboll. Con la llegada de los Macleod de Cadboll a la región, el desarrollo de Invergordon avanzó rápidamente. Se construyó un puerto y muy pronto el pueblo, pues aún era pequeño, se convirtió en el principal puerto de distribución del norte. Cuando el antiguo castillo fue destruido por un incendio, el difunto Robert Bruce Aeneas Macleod construyó una nueva y magnífica mansión en 1872. Algunos años antes, los terrenos del castillo se habían transformado en un lugar de gran belleza, los "Jardines Americanos", como se les conocía, con su profusa exhibición de rododendros, árboles majestuosos y paseos bordeados de flores, famosos en todo el país. El crecimiento de la comunidad propició la formación de un municipio policial en 1864; Robert Bruce Aeneas Macleod de Cadboll se convirtió en su primer preboste. Cuando la finca se vendió, aproximadamente en la época de la Primera Guerra Mundial, el esplendor del castillo y los jardines desapareció, y en 1928 el propio castillo fue demolido.
