Das Bayrische Haus wurde 1847 nördlich des Schäfereiberges für die aus Bayern stammende Königin Elisabeth gebaut. Als Nachfolger von Persius, der 1845 gestorben war, gestaltete der Architekt Ludwig Hesse das Bauwerk im bayrischen Gebirgshausstil. Im Obergeschoß waren die königlichen Räume und der Jagdsaal mit ausgewähltem bayrischem Interieur ausgestattet. Das Erdgeschoss bewohnte der Kastellan bis zum Ende des Ersten Weltkrieges. Danach wurde das Bayrische Haus verpachtet und ein beliebtes Sommerlokal. Nach 1945 wurde das Gebäude innen umgebaut und für unterschiedliche Zwecke genutzt. Nach umfangreichen Restaurierungs- und Erweiterungsmaßnahmen ist der Gebäudekomplex seit 1990 Hotel und gehört nach ausgedehnten Umbauten seit 2001 zur Spitzenklasse (fünf Sterne).