Historia powstania cmentarza związana jest z istniejącymi dawniej czterema odrębnymi cmentarzami, które znajdują się w obecnych granicach cmentarza, a mianowicie z:

• Cmentarzem katolickim I, założonym w 1832 roku parafii katolickiej przy kościele pocysterskim, zlokalizowanym na zbliżonej do prostokąta działce, z wejściem od ul. Czyżewskiego,
• Cmentarzem ewangelickim I, założonym w 1935 roku, przez Gminę Ewangelicką, która przejęła kościół św. Jakuba, położony na północ od cmentarza katolickiego,
• Cmentarzem katolickim II, założonym w 1920 roku dla Parafii p.w. Świętej Trójcy, po zapełnieniu Cmentarza katolickiego I, 
• Cmentarzem ewangelickim II, założonym w 1920 roku dla parafii ewangelickiej, po zapełnieniu Cmentarz ewangelickiego I.

Do ww. cmentarzy przylegał od strony północnej niewielki cmentarz bezwyznaniowy założony w 1921 roku, zlikwidowany w 1945 roku.

Do 1945 roku wyżej wymienione dwa cmentarze katolickie i dwa cmentarze ewangelickie funkcjonowały jako oddzielne nekropolie. W 1945 roku zostały przejęte przez kościół katolicki, a następnie w 1947 roku przejęte zostały przez Zarząd Miasta, tworząc jeden cmentarz komunalny „Oliwski”.