Gewisse Urkunden lassen vermuten, dass die Herren con Colombier eines Stammes waren mit der mächtigen Familie von Estavayer, welche sich in verschiedene Zweige spalteten und zeitweise politisch eine einflussreiche Rolle spielten.

Die Herren von Colombier traten im Laufe der Geschichte wenig in Erscheinung
Zu welchem Zeitpunkt Sie die kleine Herrschaft erworben hatten und auf welche weise, ist unklar.
Ob die Burg bereits bestand oder erst durch die Familie gegründete wurde ist ebenfalls unklar.
Bauliche Untersuchungen deuten darauf hin, dass die Burg bereits im 12.Jahrhundert bestand.

Von der alten Burg bestehen nur noch wenige Reste. Sie wurde im Laufe der jahrhunderte mehrere Male umgebaut und erweitert. Um 1500 erlebte die Burg den letzen grossen Umbau wobei die meisten alten Gebäude abgerissen und durch einen mächtigen Neubau ersetzt.

Die Herren von Colombier schlossen sich den Herren von Neuenburg an und nahmen verschiedenen Stellungen unter den Neuenburger Grafen ein.
Nachdem der männliche Stamm 1488 erlosch, gelangten Schloss und Herrschaft über die Erbtochter an die Herren von Chauvirey. Die burgundische Familie riss das Schloss ab und baute an dessen Stelle das neue Schloss.

Nach den Herren von Chauvriey gelangte Burg und Herrschaft durch Heirat an Hans Jakob von Wattenwyl, welcher den Neubau vollendete.
Von Wattenwyl trat in französische Kriegsdienste ein und wurde 1525 bei Pavia verwundet.
Nach seiner Rückkehr nach Bern – er geriet nach seiner Verwundung in Gefangenschaft – Heiratete er Rose Chauvirey und gründete die burgundische Linien der de Wattenwyl.
Die Söhne Gerhard und Niklaus wanderten nach Burgund aus und verkauften die Herrschaft Colombier.

Seit 1564 folgte die Geschichte von Burg und Herrschaft der Geschichte der Grafen von Neuenburg. Im 18. Jahrhundert wurde die Burg nach dem damaligen Geschmack umbauen.
Seit dem 19. Jahrhundert befindet sich im Schloss eine Kaserne und ein Museum.

Geschichte/Text Quelle:
- Burgen der Schweiz, Band 7, Seite 74/75.