Штандартенфюрер СС Херманн Юлиус Вальтер Рауфф родился в Кетене (Германия) в 1906 году. В 18-летнем возрасте поступил на флот. В 1935 году командовал минным тральщиком в звании капитан-лейтенанта. 31 декабря 1937 года он то ли уволился в запас «по личным причинам», то ли был уволен с военной службы за поведение, несовместимое со званием офицера. Возможно, это как-то связано со следующими фактами его личной жизни: осенью 1937 года Рауфф развелся с женой, вскоре женился второй раз, а через четыре месяца после свадьбы у него родился сын.

Во время службы на флоте Рауфф познакомился с Рейнхардом Гейдрихом, занимавшим в 1934–1939 годах должность начальника государственной тайной полиции (гестапо). Благодаря Гейдриху Рауфф вступил в НСДАП и СС.

В 1941–1942 годах Рауфф участвовал в разработке мобильных газовых камер («душегубок»). С ноября 1942 по май 1943 года служил в Тунисе, где был причастен к уничтожению евреев. Оттуда был переведен в Милан и назначен ответственным за операции гестапо и СД на северо-западе Италии. В конце войны Рауфф сдался в плен американским войскам, сумел сбежать из лагеря для интернированных, несколько лет скрывался в итальянских монастырях. В 1949 году Рауфф недолгое время был советником президента и премьер-министра Сирии Хусни Аз-Заима (одновременно сотрудничая с израильской спецслужбой «Моссад»). После свержения Аз-Заима Рауфф ненадолго вернулся в Италию, откуда отправился в Южную Америку. С 1949 по 1958 год жил в Эквадоре, затем переехал в Чили. Там он работал на рыболовном судне, был директором крабоконсервного завода в Пунта-Аренасе. Одновременно в течение нескольких лет сотрудничал с BND (разведслужба ФРГ), а также был советником чилийской армии. В декабре 1962 года был арестован по запросу ФРГ, но в марте 1963 года Верховный суд Чили освободил его в связи с истечением срока давности. В последующих запросах об экстрадиции Рауффа, в том числе в период правления Сальвадора Альенде, чилийские власти отказывали.

После прихода к власти генерала Пиночета Рауфф стал советником Хуана Контрераса, основателя и главы тайной полиции ДИНА. Его советы касались не только строительства концлагерей, но и способов решения «окончательного вопроса» (в Чили речь шла об уничтожении не евреев, а коммунистов и других противников режима Пиночета).

Вальтер Рауфф скончался в 1984 году от сердечного приступа.