Budowę obiektu przypisuje się książętom oświęcimskim lub Mikołajowi Strzale h. Kotwicz (I połowa XV wieku). Najstarsze gotyckie założenie z I połowy XV wieku składało się z pojedynczej wieży mieszkalnej oraz drewnianych zabudowań, otoczonych ziemnym wałem oraz płytką fosą. Pod koniec XV wieku budowla stała się obronną fortecą (cztery wieże mieszkalne z dziedzińcem wewnętrznym, mury obronne z czterema narożnymi basztami).

W 2 połowie XVI wieku średniowieczne zamczysko przeistoczyło się w renesansową rezydencję (krużganki, dachy z attykami i dekoracją sgraffito, nowa kamieniarka okien i portali). Początek XVIII wieku przyniósł decydujące zmiany w wyglądzie zamku i jego otoczenia. Dawny obronny zamek stał się rezydencją o charakterze pałacowym (rozbudowa skrzydła południowego z reprezentacyjną klatką schodową, nowe barokowe elewacje, okna, wysokie dachy, portale, kaplica).

Po 1945 roku budynek stał się własnością miasta i przeznaczono go na: mieszkania lokatorskie, archiwum, biura organizacji młodzieżowych, pracownie Domu Kultury, biura przedsiębiorstwa "Las" oraz bibliotekę miejską. W latach 1976-1989 władze miasta zdecydowały się na remont zamku. Wkrótce nastąpiło wykwaterowanie lokatorów, otwarcie kawiarni "Rycerska", remont oraz prace badawczo-naukowe. Od 2005 roku Stary Zamek jest siedzibą Muzeum Miejskiego w Żywcu.

W ramach wystaw stałych muzeum, oglądać można m.in. ekspozycję etnograficzną, stanowiącą uzupełnienie szlaku architektury drewnianej województwa śląskiego. Eksponaty muzeum zgromadzone są w działach: Historii i Sztuki, Etnografii, Przyrody, Archeologii. Muzeum oferuje możliwość zamówienia spotkań muzealnych, które wzbogacają wiedzę najmłodszych i uzupełniają program nauczania uczniów. Organizowane są w plenerze oraz salach wystawowych.