Le cimetière militaire allemand de Cheppy a été créé fin septembre 1914, après les premiers combats entre l’Argonne et la Meuse, par les troupes allemandes elles-mêmes. Il regroupait les soldats morts lors des combats autour de Varennes-en-Argonne et de Montfaucon les 2 et 3 Septembre, ainsi que lors des combats d’Apremont et de Cheppy dans les derniers jours de septembre 1914. Par la suite, comme la ligne de front n' a pratiquement pas changé d'emplacement jusqu’en 1918, d’autres soldats y ont été enterrés tout au long de la guerre, qu'ils proviennent des combats menés en Argonne, ou de ceux de la bataille de Verdun. Après guerre, le cimetière a été agrandi et aménagé par les autorités militaires françaises. Les ossements de soldats allemands découverts lors de la restauration de la forêt d’Argonne y ont été regroupés. Suite à l' accord signé en 1926 entre les autorités militaires françaises et la commission allemande responsable des sépultures de guerre, des arbres ont été plantés, une pelouse semée, des croix en bois érigées, et des murets construits autour des tombes communes ainsi qu’à l’entrée du cimetière. Pour des raisons financières, puis à cause de la seconde guerre mondiale, les travaux n’ont pas été terminés. À la suite de l’accord franco-allemand du 19 juillet 1966, la commission allemande responsable des sépultures de guerre, aidée financièrement par le gouvernement fédéral, a enfin pu achever ces aménagements : les tombes communes ont été restaurées, des plaques commémoratives ont été posées, des haies ont été plantées, l’espace d’accueil fut rénové, et une croix en acier forgé a été érigée comme monument central. C'est à cette époque aussi que les croix provisoires en bois ont été remplacées par des croix métalliques. Dans ce cimetière reposent 6130 soldats allemands, dont 2341 en tombes individuelles. Dans les deux tombes communes, reposent 3789 soldats, dont 3566 sont inconnus. Le 13 novembre 2009, les dépouilles de 35 soldats allemands découvertes lors d’une fouille en 2008 sur la butte du Vauquois ont été inhumées dans le cimetière de Cheppy.