Das Denkmal für die Toten der II. Matrosendivision wurde am 12. Februar 1903 im Kasernenhof der Werftkaserne in Wilhelmshaven eingeweiht. Der Entwurf stammte vom Regierungs-Baumeisters Albert Niemann. Anlass der Errichtung war der zurückliegende Boxerkrieg in China (1899-1901) an dem auch deutsche Militäreinheiten teilgenommen hatten. Das Denkmal sollte an alle zwischen 1884 und 1911 im Ausland zu Tode gekommenen Soldaten der II. Matrosendivision, erinnern – insgesamt 263 Unteroffizier- und Mannschaftssoldaten. Die Matrosendivisionen waren Truppenteile an Land, in denen das Personal für die Besatzungen der Schiffe und Boote zusammengefasst wurde. Es gab zwei dieser Verbände, die I. Division für die Marinestation der Ostsee in Kiel und die II. Matrosendivision für die Marinestation der Nordsee in Wilhelmshaven. Die Ortsangaben auf dem Denkmal zeigen dabei eindrücklich, dass viele der Opfer im Zuge der Durchsetzung deutscher Kolonialinteressen weit entfernt der Heimat den Tod fanden. Finanziert wurde das Denkmal durch freiwillige Beiträge von Marineeinheiten und durch eine Spende von Kaiser Wilhelm II. Der Standort des Denkmals wurde mehrfach verändert. Bis das Denkmal 1998 im Deutschen Marinemuseum aufgestellt wurde, stand es zeitweilig in der Graf-Spee-Kaserne, der Kaserne am Mühlenweg und der Ebkeriege-Kaserne in Wilhelmshaven. Die Gründe für die häufige Verlegung des Denkmals sind unbekannt.

Das Denkmal wurde zwischen 2023 und 2024 unter anderem mit Mitteln der Brune-WZ-Stiftung aufwendig restauriert.