Янош Лайош фон Нойман родился 3 декабря 1903 года в Будапеште, в богатой еврейской семье. Отец его, преуспевающий банкир, получил за заслуги право на ношение второй фамилии - Маргиттский и дворянскую приставку "фон". В Австро-Венгрии это было возможно.