Jean L'Herminier sort de l'Ecole Navale en 1921 et sert sur les sous-marins dans l'Entre-deux-guerres. En 1940, il participe à la campagne de Norvège. Il reste loyal au maréchal Pétain et participe à la défense de Dakar en septembre 1940.
En novembre 1942, il quitte Toulon et rejoint Alger avec son sous-marin, le Casabianca. Il participe activement à la libération de la Corse. Il est promu capitaine de frégate en août 1943. Amputé des deux jambes (trombose), il est néanmoins maintenu en activité et est promu capitaine de vaisseau en décembre 1945. Il représente la Marine au comité d'administration de l'Office National aux Anciens Combattants.