
Budowę obiektu przypisuje się książętom oświęcimskim lub Mikołajowi Strzale h. Kotwicz (I połowa XV wieku).
Najstarsze gotyckie założenie z I połowy XV wieku składało się z pojedynczej wieży mieszkalnej oraz drewnianych zabudowań, otoczonych ziemnym wałem oraz płytką fosą.
Pod koniec XV wieku budowla stała się obronną fortecą (cztery wieże mieszkalne z dziedzińcem wewnętrznym, mury obronne z czterema narożnymi basztami).

W 2 połowie XVI wieku średniowieczne zamczysko przeistoczyło się w
renesansową rezydencję (krużganki, dachy z attykami i dekoracją sgraffito, nowa kamieniarka okien i portali).
Początek XVIII wieku przyniósł decydujące zmiany w wyglądzie zamku i jego otoczenia. Dawny obronny zamek stał się
rezydencją o charakterze pałacowym (rozbudowa skrzydła południowego
z reprezentacyjną klatką schodową, nowe barokowe elewacje, okna, wysokie dachy, portale, kaplica).
Po 1945 roku budynek stał się własnością miasta
i przeznaczono go na: mieszkania lokatorskie, archiwum, biura organizacji młodzieżowych, pracownie Domu Kultury, biura przedsiębiorstwa "Las" oraz bibliotekę miejską.
W latach 1976-1989 władze miasta zdecydowały się na
remont zamku. Wkrótce nastąpiło wykwaterowanie lokatorów, otwarcie kawiarni "Rycerska", remont oraz prace badawczo-naukowe.
Od 2005 roku Stary Zamek jest
siedzibą Muzeum Miejskiego w Żywcu.

W ramach wystaw stałych muzeum, oglądać można m.in.
ekspozycję etnograficzną, stanowiącą uzupełnienie szlaku architektury drewnianej województwa śląskiego. Eksponaty muzeum
zgromadzone są w działach: Historii
i Sztuki, Etnografii, Przyrody, Archeologii. Muzeum oferuje możliwość zamówienia spotkań muzealnych, które wzbogacają wiedzę najmłodszych i uzupełniają program nauczania uczniów. Organizowane są w plenerze oraz salach wystawowych.