Dzisiejsza budowla powstała prawdopodobnie około XVI wieku. Najpierw powstał chór, potem nawa. Prawdopodobnie dzisiejszy kościół parafialny lub przynajmniej jego część, został zbudowany po roku 1583. W okresie Reformacji kościół został przejęty przez protestantów. Kapłani już nie mogli sprawować swych obowiązków i opuścili miasto, a w kościele były sprawowane nabożeństwa luterańskie. Dopiero w 1629 roku zwrócono katolikom kościół parafialny. W 1932 roku kościół został umieszczony w rejestrze zabytków.

Kościół św. Apostołów Filipa i Jakuba w Żorach stanowił i stanowi najdoskonalszy symbol życia duchowego miasta, a zarazem był i jest jego najważniejszym i najbardziej charakterystycznym założeniem architektonicznym. W prezbiterium jest pochodzący z 1690 roku, słynący łaskami obraz Matki Bożej Miłosierdzia (Żorskiej), który po wojnie został przeniesiony z kaplicy Linków na ołtarz główny.

Na murach kościoła od strony południowej w cegłach znajdują się podłużne i kuliste zagłębienia. Według jednej z teorii są to oznakowania grzebanych wokół kościoła osób. Po trzech pożarach, które niszczyły Żory i kościół w 1583 roku, 1661 roku i 1702 roku, każdego roku mieszkańcy Żor tego dnia wychodzą na ulice miasta z pochodniami uczestnicząc w procesji upamiętniające to wydarzenie i zanosząc modlitwy, by pożar już nigdy nie nawiedził tego miasta.

W XVII wieku obok kościoła zbudowano krzyż Bożej Męki, który stoi do dziś. W 1824 roku powstał cmentarz, przylegający od północy do kościoła, św. Filipa i Jakuba. Na cmentarzu znajduje się zabytkowy krzyż pokutny oraz nagrobki w formie neogotyckiej.