Bei Fernstein wurden zwar römische Münzen gefunden, Angaben oder Spuren einer Befestigung oder Zollstätte sind nicht vorhanden. Um 1288 wird ein "Rudeger von Verrenstein" genannt. Burgruine auf einem Felsvorsprung der Klausbachschlucht. Von dort die teilweise noch erhaltene Klausenmauer über den Bergabhang zum Seebach hinab, wo das Niederhaus stand. Darin befand sich die Klause, der Zoll und eine Taverne.
Nach dem Bau der neuen Fernpaßstraße im Jahre 1543 Verlegung der Zollab-fertigung in das Schreiberhäusl und der Taverne in das damals errichtete dreistöckige Klausengebäude unterhalb der ehemaligen Burg "Verrenstein". Um die Mitte des 15. Jahrhunderts wird unter Herzog Sigmund dem Münzreichen mit dem Bau von Schloß Sigmundsburg im Fernsteinsee begonnen. Das Schloß wurde zwar wohnbar gemacht aber nie fertig gestellt. Seit Beginn des 17. Jahrhunderts steht Sigmundsburg leer und verfällt völlig.

Um 1780 wurde die Zollstätte von Fernstein auf den Fernpaß verlegt und Fernstein samt Zubehör in den Folgejahren versteigert. Erste Erwerberin war die Gemeinde Nassereith, die die ganze Pfleg- und Pfandschaft Fernstein - Sigmundsburg 1784 an sich gebracht hatte. Die Gemeinde veräußerte in der Folge Teile aus diesen Anwesen an verschiedene Personen, darunter auch an Johann Kluibenschedl. Dieser verkaufte 1791 dem Doc. med. Josef Ritter die Fernsteinseen, den Deckbruggensee (Schanze-seele) und einzelne Räume von Schloß Fernstein. Um 1836 ging ein Großteil der Besitzungen an die Fam. Schönherr, Bäckermeister in Nassereith, über.
1856 wurde die neue Fernpaßstraße gebaut, bei der ersten Brücke eine Gaststätte errichtet und die Taverne von Schloß Fernstein hierher verlegte.

Ab 1884 erwarb Baron von Ziegler im Laufe der Jahre alle Liegenschaften und Gewässer in Fernstein. Er ließ auch die historischen Umbauten (Rondelle und Spitztürmchen) am Schreiber-, Zöllner- und dem Niederhaus, das heute als Wirtschaftsgebäude dient, vornehmen.
Das an der neuen Fernsteinbrücke erbaute Gasthaus stand 1895 im Eigentum der Katharina Sprenger verehl. Suittner. Im Jahre 1909 brannte das Gasthaus völlig ab, dabei wurden die beiden Prunkzimmer von König Ludwig II. von Bayern ein Raub der Flammen.

Am 27. August 1926 erwarben die Benediktiner Missionäre von St. Ottilien in Bayern das Gasthaus Fernstein von Luise Wilhelm. Das Kloster schloß bereits am 11. Mai 1924 mit Baron von Ziegler einen Leibrentenvertrag, mit dem dieser alle seine Rechte und Besitzungen an und in Fernstein und Sigmundsburg dem Kloster übertrug. Damit wurden Fernstein und Sigmundsburg wieder eine Einheit, wie sie bei der Ersteigerung durch die Gemeinde Nassereith im Jahre 1784 bestanden hatte.
Am 24. Mai 1941 wurden die Besitzungen des Klosters St. Ottilien beschlagnahmt und dem Deutschen Reich einverleibt. Im Jahre 1948 erfolgte die Rückstellung aller Rechte und Güter an das Kloster St. Ottilien, das aber kein Interesse an Fernstein und Sigmundsburg mehr hatte und die ganzen Besitzungen im Jahre 1960 an Georg Köhle verkaufte.
Seit 1990 ist Bernward Köhle der Sohn des Georg Eigentümer des Besitzes. Die 14 Nothelfer-Kapelle in Fernstein "herunten beim nydren Haus" wurde 1478 von Herzog Sigmund erbaut. Mit der Verlegung der Zollstätte auf den Fernpaß im Jahre 1780 verödete die Kapelle, wurde mehrmals restauriert und wieder gesperrt. Die letzte Erneuerung erfolgte 1995.