Die Entstehungszeit der Burg liegt im Dunkeln. Es besteht die Möglichkeit, dass die Freiherren von Montfaucon, welche 1124 das Kloster Lützel erbauen liessen, die Gründer der Anlage waren. 1304 belehnte Walter von Montfaucon das Dorf Goumois. Lehnherren waren die Grafen von Montbéliard. Dem Hause Montbéliard gelang es nicht, die Herrschaft in ihren Besitz zu bringen. Die Herren von Montfaucon rutschten jedoch immer mehr in die Lehnabhängigkeit des Grafenhauses. 1350 fiel die Herrschaft durch Heimfall doch noch in die Hände der Grafen. Zur Herrschaft gehörten die Burg Franquemont mit den Dörfern Goumois, Gourgouton, Belfond, Montbaron und Vautenaivre. Durch Heimfall gelangte die Festung 1397 an die Grafen von Württemberg. Diese überliessen Henri, einem Bastardsohn des Grafen, um 1400 die Burg Franquemont. Er gründete eine Nebenlinie des Grafenhauses und nannte sich von Franquemont. Während der Burgunderkriege besetzten burgundische Truppen die Festung. Die Besetzung der Burg fand gegen den Willen Claudes von Franquemont-Montbéliard statt. Die Burgunder wollten von hier aus den Übergang über die Doubs sichern. Während des Herbstfeldzuges nach Héricourt 1474 wurde die Festung durch Truppen des Bischofs von Basel belagert. Nach vier Tagen gab die Besatzung auf und der Bischof besetzte die Burg. Nach dem Ende der Burgunderkriege behielt der Bischof die Burg. Erst nach eidgenössischer Vermittlung erhielt Claude von Franquemont-Montéliard 1482 die Stammfeste als bischöfliches Lehen zurück. Nach dem Tode Claudes 1519 gab es verschiedene Lehnsträger, welche sich kurzer Folge wechselten. 1537 wurde Ritter Nicolas de Gilley Lehensträger der Burg und Ländereien. Der Kaiser anerkannte die Herrschaft 1538 als Reichsbaronie mit eigenem Münzrecht. Die Nachkommen des vollkommen verarmten Ritters Nicolas de Gilley verkauften Franquemont für 44`000 Taler an die Grafen von Montbéliard. Der Bischof sah darin eine Schmälerung seiner landesherrlichen Ansprüche und akzeptierte den Verkauf nicht. Erst nach langem Rechtsstreit und nachdem die Grafen die Oberherrschaft des basler Bischofs anerkannten, kam es 1658 zur Einigung. Während des 30-jährigen Krieges starke Verwüstung der Burg durch schwedische Soldaten.1675 Angriff durch Ludwig XIV auf die Freigrafschaft Burgund. Dies nahm der Bischof von Basel zum Anlass, sich der Burg zu entledigen. Unter dem Vorwand, die Burg der Besetzung durch französische Truppen zu entziehen, liess er Franquemont durch bischöfliche Untertanen schleifen (1677).