Cmentarz został oficjalnie założony w 1816 roku i z tego okresu pochodzi pierwszy zachowany nagrobek. Wcześniej członkowie gminy żydowskiej w Pszczynie byli chowani na cmentarzu żydowskim w Mikołowie. 7 października 1937 roku odbył się ostatni pogrzeb. Podczas II wojny światowej cmentarz cudem nie uległ zniszczeniu. Po zakończeniu wojny na cmentarzu nie odbywały się już pogrzeby, mimo że w mieście mieszkała około 200-osobowa grupa ocalonych Żydów.

W 1959 roku cmentarz został oficjalnie zamknięty dla celów pochówkowych.

Na cmentarzu zachowało się około 300 nagrobków, murowane ogrodzenie oraz dom przedpogrzebowy. Pochowany jest tu nim David Rau (ur. 18 czerwca 1861 w Debrznie, zm. 14 lutego 1911 w Pszczynie, rabin pszczyńskiego kahału w latach 1891-1911) oraz członkowie znanych i szanowanych rodów żydowskich: Schlesingerów, Schindlerów, Simonów, Koeningsfeldów, Richterów, Grünpeterów, Gittermannów i innych.

Największy z nagrobków, okazały bazaltowy pomnik z dwiema kolumnami wspierającymi trójkątny szczyt, pochodzi z przełomu XIX i XX wieku. Należy on do Heinricha i Henriette Simonów.