La Roche Goyon har fået sit navn fra en af de ældste bretonske familier (kaldet Gwion, Goion, Gouëon, Goyon og Gouyon).

En legende vidner om, at et første slot blev bygget af en Goyon under Alain Barbe-Torte i 937.

Det nuværende slot, som for ham, blev påbegyndt før fremkomsten af kanonen i Bretagne (1364) og fortsatte derefter efter ønske om Goyons lykke i anden halvdel af det XIV. århundrede. Den eksisterede i 1379, siden Du Guesclin sendte en afdeling til La Roche Goyon, som modsatte sig tappert. Fæstningen blev konfiskeret til fordel for Charles V, og derefter returneret til sin ejer ved traktaten i Guérande (1381).

I løbet af det femtende århundrede fortsatte Goyons sociale fremgang. De optræder i staterne Bretagne. En Goyon, kammerherre for hertugen af Bretagne, vil gifte sig med arvingen fra baronien Thorigni-sur-Vire. Familien Goyon forlader den bretonske vugge og går til Frankrigs historie. Slottet modtager da en guvernør, som indlogerer sig i et hus indrettet til dette formål. På tidspunktet for mødet mellem Bretagne og Frankrig (realiseret under traktaten af 1532), gennemgår det et nyt sæde (1490), engelsk denne gang, uden held for angriberne.

Nådekuppet blev båret af Ligaen. Jaques II Goyon, Lord of Matignon, marskal af Frankrig, guvernør i Normandiet og Guyenne, havde stillet sig på Henri IV's side. Som gengældelse, i 1597, belejrede og overfaldt en delegeret fra hertugen af Mercoeur ved navn Saint-Laurent ham. Slottet kaldet allerede på det tidspunkt La Latte, blev demonteret, plyndret, hærget, brændt. Kun fangehullet gjorde modstand.

Det var ved et slot i ruiner, at Sir Garengeau var interesseret i at befæste kysten til forsvaret af Saint-Malo. Slottet blev omdannet i overensstemmelse hermed med Matignons aftale mellem 1690 og 1715. Det skylder meget af det aspekt, vi kender ham.

I 1715 kom James Ill Stuart og søgte tilflugt der og fandt stedet uhyggeligt ... Det er rigtigt, at der mislykkedes en grim aften i november. Samme år giftede Louise-Hippolyte Grimaldi (Prinsesse af Monaco) sig med Jacques-François-Léonor Gouyon, herre af Matignon, og blev hertug af Valentinois, forudsat at han kunne tage Grimaldis navn og våben uden at slutte sig til hans familie.

I 1793 blev ovnen bygget for at rødme kuglerne, og et par kontrarevolutionære mistænkte blev fængslet.

Unge malouiner tog det med storm, uden held, under de hundrede dage (1815). Dette var hans sidste krigerepisode.

I løbet af det nittende århundrede blev han gradvist forladt, han havde kun én værge. Nedlagt af krigsministeriet i 1890, blev det solgt af domænerne i 1892. Det var stort set i ruiner, da det blev klassificeret som et historisk monument i 1925. Det er blevet restaureret siden 1931 af familien Joüon i Longrais og er åbent for besøg . Det blev det mest besøgte slot i Bretagne, efter hertugernes i Nantes.