Nafnið „Goyon“ eða „Gouyon“ kemur frá einer der ältesten bretonischen Familien. Der Legende nach, wäre eine erste Burg von einem Herrn Goyon, unter Alain Barbe Torte (ungefähr: Alain dem Schrägbärtigen), im Jahre 937 gebaut worden.  

Die gegenwärtige Burg wurde vor Erscheinung der Kanone (1364) in der Bretagne angefangen; es wurde dann in der zweiten Hälfte des 14. Jahrhunderts, je nach Vermögen der Familie Goyon, daran weitergebaut. Die Festung wurde für Karl den Fünften beschlagnahmt, und ihr Besitzer bekam sie durch den Vertrag von Guérande (1381) wieder.  

Im Laufe des 15. Jahrhunderts bekam die Familie Goyon immer mehr Macht. Goyon's sitzen sogar an der Versammlung "ríki Bretagne". Ein Goyon, am Hof vom Herzog der Bretagne, heiratet die Erbin von der Baronknie í Thorigni-sur-Vire. Die Familie Goyon verlädt dadurch die Heimat und wird dann an der Geschichte Frankreichs teilnehmen. In der Burg wirkt dann ein "Hausmeister", der in einem extra eingerichteten Wohnsitz wohnt. Zur Zeit des Anschlusses der Bretagne an Frankreich wird sie erneut belagert (1490) - diesmal von den Engländer – aber erfolglos.  

Der "Gnadenschuss" varð ihr durch die "Liga" gegeben der Marschall de Matignon, ein treuer Diener Heinrichs IV. , War letzterem bis in die Guyenne gefolgt. Aus Rache belagerte 1597 ein Bote des Herzogs de Mercoeur, Namens Saint-Laurent, die Burg, und besetzte Sie. Die Burg, zu dieser Zeit schon La Latte genannt, verða zerstört, zertrümmert og in Brand gesteckt. Nur blieb die Warte verschont.  

Der Herr Garengeau, der für die Befestigung der Küste und die Verteidigung von Saint-Malo sorgte, interessierte sich an einer völlig zertrümmerten Burg. Diese wurde dann umgestellt, natürlich mit der Billigung der Matignon's, zwischen 1690 and 1715. Diesem Herrn verdanken wir zum größten Teil das heutige Aussehen der Festung.  

Am Anfang des 18. Jahrhunderts, wahrscheinlich gegen 1720, wurde die Festung von der Familie Goyon dem Kriegsministerium übergeben.  

Im Jahre 1715 sem James III. Stuart, wollte sich dort flüchten, und fand, dass der Ort düster war...  

In der Tat kam er bei sehr schlechtem Wetter, abends im November, an. Im selben Jahr erfingi Louise-Hippolyte Grimaldi, Herzogin of the Valentinois, François-Léonor Goyon of Matignon, unter der Bedingung, that er sich den Namen und die Wappen der Grimaldi aneignen würde, ohne die seinigen hinzuzugeben.  

Im Jahre 1793 wurde der Ofen gebaut, wo man die Kanonenkugeln glühen ließ, and man schloss dort einige Verdächtigten ein, die gegen die Revolution gehandelt hätten.

Junge Leute von Saint-Malo erstürmten die Burg, jedoch ohne Erfolg, im Jahre 1815 ("Hundrað dagar"). Hiermit war der kriegerischen Zeit ein Ende gesetzt.  

Im Laufe des 19. Jahrhunderts wurde die Festung allmählich verlassen; sie hatte nur noch einen "Hausmeister". Das Kriegsministerium gab sie im Jahre 1890 auf, und sie wurde 1892 von den "estates" verkauft. Seit dem Jahre 1925 gehört sie dem französischen nationalen Denkmalschutzgebiet. Frá árinu 1931 verður maturinn endurgreiddur og maður getur ekki séð hann.