6 сентября 1932 года национал-социалистическая газета Der Angriff и издаваемая отставным генералом, бывшим соратником Адольфа Гитлера Эрихом Фридрихом Вильгельмом Людендорфом газета Ludendorff`s Volkswarte сообщили, что заместитель руководителя «Стального шлема» имеет еврейское происхождение. Правда, газеты путались в том, насколько еврейское. По одной версии, дед Дюстерберга по отцу, Абрахам Зелиг, был религиозным евреем, соблюдавшим обряды иудаизма до самой смерти, а отец возглавлял до самой своей смерти в 1924 году еврейскую общину города Падерборн. По другой — Абрамом Зелигом звали отца Дюстерберга, а еврейскую общину Падерборна возглавлял его дед по матери Вольф Каспари. Доля истины в этих обвинениях была: дед Дюстерберга по отцу был евреем, но принял лютеранство еще в 1818 году.
В результате разразившегося скандала ярый антисемит Дюстерберг пережил нервный срыв. «Стальной шлем» обвинил нацистов во лжи. Но уже на следующий день Дюстерберг признал свое еврейское происхождение, сообщил на собрании руководства организации, что узнал о нем только накануне, и подал в отставку.
В 1934 году он был арестован, недолгое время пробыл в концлагере Дахау. Скончался в 1950 году в Гамельне. За год до смерти выпустил автобиографическую книгу «"Стальной шлем" и Гитлер», в которой пытался доказать независимость «Стального шлема» от нацистского движения и критиковал Гитлера за антисемитизм.