La Roche Goyon prenas sian nomon de unu el la plej maljunaj bretonaj familioj (nomataj Gwion, Goion, Gouëon, Goyon kaj Gouyon).

Legendo atestas, ke unua kastelo estis konstruita de Goyon sub Alain Barbe-Torte en 937.

La nuna kastelo, kiel por li, estis komencita antaŭ la apero de la kanoniko en Bretonio (1364) kaj tiam daŭrigita laŭ la eblo de la bonŝanco de Goyon en la dua duono de XIVème jarcento. Ĝi ekzistis en 1379 de kiam Du Guesclin sendis taĉmenton al La Roche Goyon, kiu rezistis kuraĝe. La fortikaĵo estis konfiskita por la avantaĝo de Karolo la 5-a, tiam resendita al sia posedanto per la Traktato de Guérande (1381).

Dum la dekkvina jarcento, la socia pliiĝo de la Goyon daŭris. Ili aperas en la ŝtatoj Bretonio. Goyon, ĉambelano de la duko de Bretonio, edziĝos kun la heredantino de la baronlando Thorigni-sur-Vire. La familio Goyon forlasas la bretonan lulilon kaj iras al la historio de Francio. La kastelo tiam ricevas guberniestron, kiu loĝas en tiamaniere aranĝita domo. Dum la renkontiĝo de Bretonio kun Francio (realigita dum la traktato de 1532), ĝi spertas novan sidejon (1490), anglan ĉi-foje, sen sukceso por la invadantoj.

La gracia puĉo estis farita de la Ligo. Jaques II Goyon, sinjoro de Matignon, marŝalo de Francio, guberniestro de Normandio kaj Guyenne, helpis al Henri IV. En reprezalio, en 1597, delegito de la duko de Mercoeur nomita Saint-Laurent, sieĝis kaj atakis lin. La kastelo jam nomata tiutempe La Latte, estis malmuntita, prirabita, detruita, bruligita. Nur la kelkarcero rezistis.

Ĝuste en ruina kastelo Sir Garengeau interesiĝis fortikigi la marbordon por la defendo de Saint-Malo. La kastelo transformiĝis laŭ la interkonsento de Matignon inter 1690 kaj 1715. Ĝi ŝuldas grandan parton de la aspekto, kiun ni konas lin.

En 1715, James Ill Stuart venis kaj rifuĝis tie kaj trovis la lokon sinistra ... Estas vere, ke malsukcesis aĉa vespero de novembro. La saman jaron Louise-Hippolyte GrimaIdi (Princino de Monako) geedziĝis kun Jacques-François-Léonor Gouyon, sinjoro de Matignon, iĝanta Duko de Valentinois, provizita por preni la nomon kaj armilojn de la Grimaldi sen aliĝado al de sia familio.

En 1793, la forno estis konstruita por ruĝigi la pilkojn kaj kelkaj kontraŭrevoluciaj suspektatoj estis malliberigitaj.

Junaj MaIouins atakis ĝin sen sukceso dum la Cent Tagoj (1815). Ĉi tiu estis lia lasta milita epizodo.

Dum la deknaŭa jarcento, li estis iom post iom forlasita, li havis nur unu kuratoron. Malmendita de la Militministerio en 1890, ĝi estis vendita de la Domajnoj en 1892. Ĝi estis plejparte en ruinoj kiam ĝi estis klasifikita Historia Monumento en 1925. Ĝi estis restaŭrita ekde 1931 de la familio Joüon de Longrais kaj estas malfermita al la vizito. . Ĝi fariĝis la plej vizitata kastelo en Bretonio, post tiu de la dukoj en Nantes.