Mit dem "Anschluss" Österreichs an Hitler-Deutschland im März 1938 änderte sich die Situation für Leopoldi als Juden dramatisch. Er wurde am 26. April 1938 verhaftet und gemeinsam mit anderen Künstlern wie Fritz Grünbaum, Paul Morgan und Fritz Löhner-Beda im KZ Dachau inhaftiert. Im September 1938 wurde Leopoldi ins KZ Buchenwald überstellt.
Für einen vom Lagerkommandanten Arthur Röbl ausgeschriebenen Wettbewerb verfasste Leopoldi gemeinsam mit dem Texter Fritz Löhner-Beda den sogenannten "Buchenwälder-Marsch".
Von diesem Werk existieren aus verständlichen Gründen keine Aufnahmen aus der NS-Zeit. Leopoldi berichtet in seinen 1949 verfassten Lebenserinnerungen davon, dass er regelmäßig Lieder für Mithäftlinge vortrug sowie von einer Situation, in der eine seiner Platten gespielt wurde:
"Einmal stürzten meine Kameraden zu mir herein und riefen. 'Hermann komm schnell, du singst draußen!' Ich eilte hinaus, und tatsächlich hörte ich mich 'Das kleine Café in Hernals' von einer Platte singen. Der Klavierhumorist Hermann Leopoldi singt dem Schutzhäftling Hermann Leopoldi (s)einen Schlager vor. Eine verrückte Welt". (Leopoldi/Weiss, 1992:52)
Leopoldi wurde im Februar 1939 wieder aus dem KZ entlassen. Von den erwähnten Künstlern war Leopoldi der einzige, der das Konzentrationslager überlebte. Grünbaum, Morgan und Löhner-Beda wurden – genauso wie Hermanns Bruder Ferdinand Leopoldi und viele andere frühere Mitarbeiter Leopoldis – von den Nationalsozialisten ermordet.