Historia powstania cmentarza związana jest z istniejącymi dawniej czterema odrębnymi cmentarzami, które znajdują się w obecnych granicach cmentarza, a mianowicie z:
Do ww. cmentarzy przylegał od strony północnej niewielki cmentarz bezwyznaniowy założony w 1921 roku, zlikwidowany w 1945 roku.
Do 1945 roku wyżej wymienione dwa cmentarze katolickie i dwa cmentarze ewangelickie funkcjonowały jako oddzielne nekropolie. W 1945 roku zostały przejęte przez kościół katolicki, a następnie w 1947 roku przejęte zostały przez Zarząd Miasta, tworząc jeden cmentarz komunalny „Oliwski”.