La Roche Goyon mengambil namanya dari salah satu keluarga Breton tertua (disebut Gwion, Goion, Gouëon, Goyon dan Gouyon).

Sebuah legenda bersaksi bahwa kastil pertama dibangun oleh seorang Goyon di bawah Alain Barbe-Torte pada tahun 937.

Kastil saat ini, seperti baginya, dimulai sebelum munculnya kanon di Brittany (1364) kemudian dilanjutkan dengan pilihan nasib baik Goyon di paruh kedua abad XIV. Itu ada pada 1379 sejak Du Guesclin mengirim detasemen ke La Roche Goyon yang melawan dengan gagah berani. Benteng disita untuk kepentingan Charles V, kemudian dikembalikan kepada pemiliknya oleh Perjanjian Guérande (1381).

Selama abad kelima belas, kebangkitan sosial Goyon berlanjut. Mereka muncul di Negara Bagian Brittany. Seorang Goyon, bendahara adipati Brittany, akan menikah dengan pewaris baron Thorigni-sur-Vire. Keluarga Goyon meninggalkan tempat lahir Breton dan pergi ke sejarah Prancis. Kastil kemudian menerima seorang gubernur yang menginap di sebuah rumah yang diatur untuk tujuan ini. Pada saat pertemuan Brittany dengan Prancis (direalisasikan pada perjanjian tahun 1532), ia mengalami kursi baru (1490), kali ini bahasa Inggris, tanpa keberhasilan bagi penjajah.

Coup de grace dilakukan oleh Liga. Jaques II Goyon, penguasa Matignon, Marsekal Prancis, Gubernur Normandia dan Guyenne, telah memihak Henri IV. Sebagai pembalasan, pada tahun 1597, delegasi Duke of Mercoeur bernama Saint-Laurent, mengepung dan menyerangnya. Kastil yang saat itu sudah disebut La Latte, dibongkar, dijarah, dirusak, dibakar. Hanya penjara bawah tanah yang menolak.

Di sebuah kastil di reruntuhan itulah Sir Garengeau tertarik untuk membentengi pantai untuk pertahanan Saint-Malo. Kastil diubah sesuai dengan kesepakatan Matignon antara 1690 dan 1715. Itu berutang banyak aspek yang kita kenal padanya.

Pada tahun 1715, James Ill Stuart datang dan berlindung di sana dan menemukan tempat yang menyeramkan ... Memang benar bahwa ada malam yang buruk di bulan November. Pada tahun yang sama Louise-Hippolyte Grimaldi (Putri Monako) menikahi Jacques-François-Léonor Gouyon, penguasa Matignon, menjadi Adipati Valentinois, asalkan mengambil nama dan senjata Grimaldi tanpa bergabung dengan keluarganya.

Pada tahun 1793, tungku dibangun untuk memerahkan bola dan beberapa tersangka kontra-revolusioner dipenjarakan.

Malouin muda mengambilnya dengan badai, tanpa hasil, selama Seratus Hari (1815). Ini adalah episode prajurit terakhirnya.

Selama abad kesembilan belas, dia secara bertahap ditinggalkan, dia hanya memiliki satu wali. Dinonaktifkan oleh Kementerian Perang pada tahun 1890, itu dijual oleh Domain pada tahun 1892. Sebagian besar reruntuhan ketika diklasifikasikan sebagai Monumen Bersejarah pada tahun 1925. Telah dipugar sejak 1931 oleh keluarga Joüon dari Longrais dan terbuka untuk dikunjungi . Itu menjadi kastil yang paling banyak dikunjungi di Brittany, setelah adipati di Nantes.