Der Name "Goyon" or "Gouyon" stammt aus einer der ältesten bretonischen Familien. Der Legende nach, wäre eine erste Burg von einem Herrn Goyon, under Alain Barbe Torte (ungefär: Alain dem Schrägbärtigen), im Jahre 937 byggd.  

Die gegenwärtige Burg blev vor Erscheinung der Kanone (1364) in der Bretagne angefangen; es wurde dann in der zweiten Hälfte des 14. Jahrhunderts, je nach Vermögen der Familie Goyon, daran weitergebaut. Die Festung wurde für Karl den Fünften beschlagnahmt, och ihr Besitzer bekam sie durch den Vertrag von Guérande (1381) wieder.  

Im Laufe des 15. Jahrhunderts bekam die Familie Goyon immer mehr Macht. Goyons sitzen sogar an der Versammlung "States of Bretagne". Ein Goyon, am Hof vom Herzog der Bretagne, heiratet die Erbin von der Baronknie i Thorigni-sur-Vire. Die Familie Goyon verlädt dadurch die Heimat och wird dann an der Geschichte Frankreichs teilnehmen. In der Burg wirkt dann ein "Hausmeister", der in einem extra eingerichteten Wohnsitz wohnt. Zur Zeit des Anschlusses der Bretagne an Frankreich wird sie erneut belagert (1490) - diesmal von den Engländer - aber erfolglos.  

Der "Gnadenschuss" blir ihr durch die "Liga" gegeben der Marschall de Matignon, ein treuer Diener Heinrichs IV. , War letzterem bis in die Guyenne gefolgt. Aus Rache belagerte 1597 ein Bote des Herzogs de Mercoeur, Namens Saint-Laurent, die Burg, und besetzte Sie. Die Burg, zu dieser Zeit schon La Latte kallas, blir zerstört, zertrümmert och in Brand gesteckt. Nur blieb die Warte verschont.  

Der Herr Garengeau, der für die Befestigung der Küste und die Verteidigung von Saint-Malo sorgte, intressierte sich an einer völlig zertrümmerten Burg. Diese wurde dann umgestellt, natürlich mit der Billigung der Matignon's, zwischen 1690 och 1715. Diesem Herrn verdanken wir zum größten Teil das heutige Aussehen der Festung.  

Am Anfang des 18. Jahrhunderts, sannolikt från 1720, blir die Festung von der Familie Goyon dem Kriegsministerium übergeben.  

Im Jahre 1715 kam James III. Stuart, wollte sich dort flüchten, und fand, dass der Ort düster war ...  

In der Tat kam er bei sehr schlechtem Wetter, abends im November, an. Im selben Jahr heiratete Louise-Hippolyte Grimaldi, Herzogin des Valentinois, François-Léonor Goyon de Matignon, unter der Bedingung, dass er sich den Namen und die Wappen der Grimaldi aneignen würde, ohne die seinigen hinzuzugeben.  

Im Jahre 1793 blev der Ofen byggt, wo man die Kanonenkugeln glühen ließ, and man schloss dort einige Verdächtigten ein, die gegen die Revolution gehandelt hätten.

Junge Leute von Saint-Malo erstürmten die Burg, jedoch ohne Erfolg, im Jahre 1815 ("Hundra dagar"). Hiermit war der kriegerischen Zeit ein Ende gesetzt.  

Im Laufe des 19. Jahrhunderts wurde die Festung allmählich verlassen; sie hatte nur noch einen "Hausmeister". Das Kriegsministerium gab sie im Jahre 1890 auf, und sie were 1892 von den "domains" verkauft. Seit dem Jahre 1925 gehört sie dem französischen nationalen Denkmalschutzgebiet. Seit 1931 blir daran restauriert, och man kan sie jetzt besichtigen.