Zameczek Myśliwski Habsburgów wybudowany został na polanie Przysłop w latach 1897-1898 na polecenie arcyksięcia Fryderyka Habsburga. W miejscu tym wcześniej znajdowała się leśniczówka, a od 1855 mały domek dla myśliwych. Wiadomo, że w 1853 odbyło się na tych terenach polowanie, na którym administrator lasów arcyksiążęcych, hrabia Braidla, ustrzelił dwa głuszce. Od tego momentu całość gospodarki leśnej na tym terenie podporządkowano hodowli tego gatunku.

Dotychczasowy domek myśliwski stał się za mały i w 1863 roku na polanie powstała nowa leśniczówka – obecna Izba Leśna. W latach 60. XIX wieku wybudowano drogę wzdłuż Czarnej Wisełki. Gdy i leśniczówka okazała się za mała, rozpoczęto budowę pałacyku myśliwskiego. Był on drewniany i jednopiętrowy. Prawdopodobnie zaprojektował go Albin Teodor Prokop, architekt i radca budowlany przy Urzędzie Komory Cieszyńskiej. Obiekt reprezentował styl tyrolski.

1915 w pałacyku gościł cesarz niemiecki Wilhelm II Hohenzollern wraz z feldmarszałkiem Hindenburgiem. W tym samym roku w Wiśle pojawił się arcyksiążę Karol, późniejszy cesarz austriacki. Ostatnie polowanie habsburskie odbyło się w 1916 roku – arcyksiążę Fryderyk ustrzelił wtedy 2 koguty głuszca. 12 listopada 1918 pałacyk został splądrowany i okradziony przez miejscową ludność. W niepodległej Polsce przeszedł na własność Skarbu Państwa (konkretnie opiekę nad nim przejęło Nadleśnictwo Wisła).

W 1925 roku oddział Polskiego Towarzystwa Tatrzańskiego otworzył w zameczku schronisko turystyczne. Schronisko mogło pomieścić 64 osoby, w tym 24 w hotelowych warunkach. Wytyczono wówczas szlaki turystyczne na Baranią Górę, powstała też skocznia narciarska "Ślązaczka", która nie zachowała się do dnia dzisiejszego. Od 1928 roku corocznie odbywały się konkursy skoków. Po wojnie budynek ponownie zaczął działać jako polskie schronisko w 1946 roku.

W związku ze zwiększeniem ruchu turystycznego w latach 70. XX wieku administrujące obiektem PTTK wybudowało obok nowy, znacznie większy budynek. Pałacyk został zamknięty (przez jakiś czas służył jako hotel robotniczy dla ekip budowlanych) i zaczął powoli niszczeć – od całkowitej rozbiórki uchroniły go zabiegi Towarzystwa Miłośników Wisły. W 1985 roku przeniesiono go do centrum Wisły, gdzie od 1987 roku służy jako siedziba PTTK. Budynek znajduje się na szlaku architektury drewnianej województwa śląskiego, w pętli beskidzkiej.