Stadt und Burg dürften wahrscheinlich schon bestanden haben, bevor die Grafen von Neuenburg anfangs 13.Jh. ihre Burg erbaut hatten.
1311 wird für Boudry eine Bürgerschaft erwähnt, was auf eine jahrzehntealte Stadt hinweist. Erst 1343 erhielt Boudry von Graf Ludwig einen eigenen Freibrief. Graf Ludwig hielt sich nur wenige Tage im Jahr auf der Burg auf, die durch einen Angestellten unterhalten wurde, und überprüfte die Abgaben seiner Untertanen oder regelte rechtliche Dinge.
Nach seinem Tode 1373, er war der tatkräftigste Vertreter seines Geschlechts, hinterliess er Boudry seiner dritten Gemahlin, Margrit von Vufflens, als Witwensitz zur Nutzung für ihren Unterhalt. Die Grafschaft Neuenburg vermachte er seiner Tochter Isabelle.

Mit Margrit als neuer Herrin begann für die Bewohner der Herrschaft Boudry eine schlechte Zeit. Margrit heiratete 1373, das Todesjahr ihres ersten Mannes, Jaques de Vergy. Die Beiden bedrohten ihre Untertanen und begannen sie regelrecht auszuplündern. Sie befahlen einige ihrer Untertanen auf die Burg und liessen acht von ihnen in den Kerker werfen. Daraufhin beschlagnahmten sie deren Güter und verkaufen diese. Ihren Knechten befahl Margrit, in die Häuser der Bürger einzudringen und alles mitzunehmen, was nicht niet- und nagelfest war.
Das ausgeflippte Paar begann sogar, die Befestigungsanlagen der Stadt zu demolieren und zerstörte sieben Häuser total. Zu guter letzt liessen sie die Stadt anzünden und auf jeden schiessen, der die Flammen löschen wollte. Dazu kamen noch ihre Truppen, die in der Umgebung alles plünderten, dessen sie habhaft werden konnten, einen ganzen Eichenwald abholzten und die Stämme verkauften. Gräfin Isabelle musste schliesslich mit Waffengewalt gegen ihre Stiefmutter vorgehen und Boudry besetzen.
In einer Klageschrift an den Erzbischof von Besançon wurden alle Verfehlungen aufgezeichnet und Margrit musste Stadt und Burg, gegen eine Abfindungssumme von 2000 Gulden, an Gräfin Isabelle von Neuenburg abtreten.

Von diesem Zeitpunkt an war die Geschichte der Stadt eng mit dem späteren Fürstentum Neuenburg verknüpft. Die Schäden wurden im Laufe der Zeit repariert. Doch war das Schloss derart verwahrlost, dass nur noch die nötigsten Reparaturen ausgeführt wurden und der Kastellan seinen Wohnsitz in die Stadt verlegte.

Geschichte/Text Quelle:
- Burgen der Schweiz, Band 7, Seite 73/74.