Nowy Zamek w Żywcu to klasycystyczny pałac zaprojektowany z polecenia arcyksięcia Albrechta przez Karola Pietschkę. Zamek był kilkakrotnie przebudowywany.

W latach 1893–1895 powstało nowe skrzydło pokryte szklanym dachem, w którym urządzono sypialnie i pokoje gościnne. Kolejnej rozbudowy dokonano, gdy dobra żywieckie przejął po zmarłym wuju Karolu Stefanie. Wtedy to dobudowano pawilon na przedłużenie skrzydła południowego, w którym na piętrze mieściła się sala balowa, o wymiarach 10,5mx18m, tzw. lustrzana, ponieważ była wypełniona taflami lustrzanymi.

W 1911 dobudowano trzyosiowy ryzalit z dwoma bocznymi balkonami, zwieńczony klasycznym tympanonem z herbem Habsburgów. Urządzenie wnętrz powierzono artystom krakowskim. Arcyksiążę Karol Stefan był miłośnikiem sztuki, za jego sprawą powstał na zamku zbiór obrazów malarzy polskich i europejskich. Słynna była też kolekcja sreber o wadze około 500kg zgromadzona na zamku, wywieziona w czasie wojny przez Niemców.

Po wojnie w pałacu została założona szkoła, która działa w nim do dziś - Zespół Szkół Drzewnych i Leśnych, technikum zajmujące czołowe miejsce wśród szkół średnich Powiatu Żywieckiego. W latach 90. XX wieku do zamku powróciła córka arcyksięcia Karola Olbrachta, księżna Maria Krystyna Altenburg, dla której urządzono mieszkanie w jednym ze skrzydeł dawnej rezydencji.