Die genaue Entstehungszeit der Burg ist nicht bekannt. Vermutlich wurde die Anlage im 13.Jh. errichtet. Die Gründer des Herrschaftssitzes konnten ebenfalls nicht ausfindig gemacht werden. Im 14.Jh. (ab 1353) stand die Herrschaft jedenfalls unter der Oberhoheit von Savoyen.
Die Burg gelangte anfangs des 16.Jh. in den Besitz der Familie de Brosses. Als die Berner 1536 die Waadt eroberten, rissen sie unter anderem auch die Rechte über die Herrschaft Gex und Tournay an sich. Der Herzog von Savoyen erhielt seine Besitzungen von den Bernern 1567 wieder zurück. Die Herzöge von Savoyen nutzten Tournay als Stützpunkt für ihre militärischen Aktionen gegen die Stadt Genf. Der damalige Besitzer, Jean de Brosses, sympathisierte jedoch stark mit den Calvinisten der Stadt Genf.
Um seine Burg vor der Zerstörungen durch die beiden Kriegsparteien zu schützen, bot er diesen an, die Befestigungsanlagen abzureissen und die Gräben aufzufüllen. Dieses Angebot kam jedoch zu spät. Genfer Truppen brannten die Burg nieder. 1603 wurde der Krieg im Frieden von St-Julien beendet. Die Familie de Brosses baute das Schloss wieder auf, jedoch ohne Verteidigungsanlagen.
Einer der berühmtesten Bewohner des Schlosses war Voltaire, welcher sich 1758 auf Lebenszeit im Schloss einmietete und dort auch Theateraufführungen veranstaltete. Den Calvinisten von Genf passte dies jedoch nicht, woraufhin Voltaire seinen Wohnsitz ins nahe Fernay verlegte. Das Schloss ist heute in Privatbesitz und nicht zugänglich.
Sichtbar ist der mittelalterliche Grundriss der Anlage mit Graben, Resten von Ringmauer, Rundtürmen, Donjon und anderen Gebäuden (vorwiegend in die Gebäude des 17. und 18.Jh. integriert). Wohnhaus aus dem 17./18.Jh.