La Roche Goyon-ek bretoierazko familia zaharrenetako batetik du izena (Gwion, Goion, Gouëon, Goyon eta Gouyon).

Kondaira batek dio Alain Barbe-Torteren agindupean Goyon batek lehen gaztelu bat eraiki zuela 937an.

Egungo gaztelua, berari dagokionez, Bretainiako kanonak agertu baino lehen (1364) hasi zen eta gero Goyonen zortearen aukeran jarraitu zuen XIV. Mendearen bigarren erdialdean. 1379an existitu zen, Du Guesclin-ek destakamendu bat bidali zuenetik La Roche Goyon-era ausart aurre egin baitzion. Gotorlekua Karlos V.aren mesedetan konfiskatu zuten, gero Guérandeko Itunak (1381) itzuli zion bere jabeari.

XV. Mendean zehar Goyon-en gorakada soziala jarraitu zen. Bretainiako Estatuetan agertzen dira. Goyon, Bretainiako dukearen ganberroa, Thorigni-sur-Vire baroniako oinordekoarekin ezkonduko da. Goyon familiak bretoi sehaska utzi eta Frantziako historiara joango da. Gazteluak orduan antolatutako etxe batean ostatu hartzen duen gobernari bat jasotzen du. Bretainia Frantziarekin bilera egin zen garaian (1532ko itunean gauzatu zen), eserleku berria jasaten du (1490), ingelesa oraingoan, inbaditzaileentzat arrakastarik izan gabe.

Kolpea Ligak eraman zuen. Jaques II Goyon, Matignoneko jauna, Frantziako mariskala, Normandiako eta Guyenne gobernadorea, Henri IV.aren alde egin zuen. Mendeku gisa, 1597an, Saint-Laurent izeneko Mercoeurko dukearen delegatu batek setiatu eta eraso egin zion. Garai hartan La Latte deitzen zen gaztelua desegin, arpilatu, suntsitu, erre egin zuten. Ziegak bakarrik egin zion aurre.

Hondakin dagoen gaztelu batean interesa zuen Sir Garengeauk kostaldea gotortzeko Saint-Maloren defentsarako. Gaztelua Matignonen akordioarekin aldatu zen 1690 eta 1715 bitartean. Ezagutzen dugun alderdiaren zati handi bat zor zaio.

1715ean, James Ill Stuart etorri zen eta han errefuxiatu zen eta lekua maltzurra aurkitu zuen ... Egia da azaroko arratsalde gaiztoak huts egin zuela. Urte berean Louise-Hippolyte GrimaIdi (Monakoko printzesa) ezkondu zen Jacques-François-Léonor Gouyon, Matignon-eko jauna, Valentinois-eko duke bihurtu zena, Grimaldiren izena eta armak bere familian sartu gabe hartzeko eskubidea emanda.

1793an, labea pilotak gorritzeko eraiki zen eta kontrairaultzaile susmagarri batzuk espetxeratu zituzten.

MaIouins gazteek hartu zuten, arrakastarik gabe, Ehun egunetan (1815). Hau izan zen bere azken gerlari atala.

XIX. Mendean zehar, pixkanaka-pixkanaka abandonatuta zegoen, tutore bakarra zuen. Gerra Ministerioak 1890ean bertan behera utzi zuen, eta 1892an saldu zuten Domeinuek. Neurri handi batean hondakinetan zegoen 1925ean Monumentu Historiko izendatu zutenean. . Bretainiako gaztelurik bisitatuena bihurtu zen, Nantesko dukeen ostean.