Historia Żydów gliwickich sięga XVII wieku, choć w większej liczbie zaczęli się oni tutaj osiedlać sto lat później. Pierwsza synagoga powstała w Gliwicach w roku 1812, zaś w 1861 otwarto kolejną. Cmentarz żydowski, położony przy obecnej ul. Poniatowskiego, zwany nowym, założony został w latach 1902 - 1903 z powodu ogromnego wzrostu ludności żydowskiej, a co za tym idzie przepełnienia starego cmentarza przy obecnej ul. Na Piasku. Pierwotnie powierzchnia nowego cmentarza wynosiła 2,5 ha.
Nowy cmentarz żydowski otwarto uroczyście 15 listopada 1903 r. wraz z wybudowanym przy nim domem przedpogrzebowym. Twórcą projektu kompleksu cmentarnego był wiedeński architekt Max Fleischer. Sam dom przedpogrzebowy stanowił imponującą, neogotycką budowlę, która mieściła kostnicę, pomieszczenie do rytualnych obmyć zwłok oraz salę uroczystości pogrzebowych. Nekropolia została ogrodzona ceglanym murem z dwiema dużymi bramami o kutych, żeliwnych kratach.
Pierwszy pochówek miał tu miejsce w styczniu 1904 r. W lipcu 1930 r. postawiono tu pomnik poświęcony poległym podczas I wojny żydowskim żołnierzom z Gliwic, walczącym w szeregach armii niemieckiej. Nowy cmentarz żydowski ufundowany został przez Niemiecki Związek Żydowskich Żołnierzy Frontowych. Ponieważ Gliwice należały do Niemiec, ciężkie czasy dla tutejszej społeczności starozakonnej zaczęły się już w 1933 r. Pobicie rabina oraz bojkot sklepów i przedsiębiorstw żydowskich, spowodowały masowe wyjazdy z miasta. Prześladowania przybrały na sile z końcem lat 30-tych, gdy pozbawiono Żydów prawa do prowadzenia działalności gospodarczej, zaś podczas „nocy kryształowej” spalono synagogi i splądrowano żydowskie sklepy i mieszkania. W latach 1942-1943 Niemcy zgładzili niemal doszczętnie tutejszą starozakonną społeczność. Zdewastowano wówczas część cmentarza, wywożąc liczne nagrobki oraz urządzając w domu przedpogrzebowym magazyn wojskowy. Pochówki wznowione zostały od lutego 1946 r.
Nowy cmentarz żydowski jest czynny, a więc obecnie stanowi jedną z trzech czynnych nekropolii żydowskich na Górnym Śląsku. Teren cmentarza podzielony jest na kilka kwater z około 800 grobami i zachowanymi około 600 nagrobkami. Najstarszy należy do Emanuela Zweiga zmarłego w 1904 r. Przy głównej alei i przy zachodnim murze znajdują się najokazalsze grobowce, m.in. gliwickiego rabina Wilhelma Münza, zmarłego w w 1917 r. Postawiono tu także pomnik Żydom , którzy zginęli w czasie tzw. marszu śmierci – marszu ewakuacyjnego z obozu Auschwitz-Birkenau w styczniu 1945 r..