Нобелевскую премию по физике присудили за нейронные сети, вдохновленные физическими законами

Лауреатами Нобелевской премии по физике 2024 года стали американец Джон Хопфилд и работающий в Канаде британец Джеффри Хинтон. Они удостоены награды «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей».

Один в поле не воин

Нейронная сеть работает благодаря взаимосвязям между нейронами. Каждый нейрон воздействует на состояние «товарищей», а те, в свою очередь, влияют на него. Другими словами, работа нейросети — коллективный эффект.

Физики начали изучать коллективные явления задолго до изобретения искусственного интеллекта. Остановимся на эффекте, который понадобится нам в дальнейшем,— магнитном упорядочении.

Каждый атом в куске железа представляет собой крошечный магнит. Можно представлять его себе как магнитную стрелку. Воздействуя друг на друга, стрелки стремятся выстроиться так, чтобы суммарное магнитное поле куска железа было равно нулю. Именно поэтому железная скрепка — не магнит, хотя и состоит из множества маленьких магнитов.

Какое дело атомам до суммарного магнитного поля? Фокус в том, что это поле обладает энергией. Почти всякая система в природе стремится минимизировать свою энергию. Именно поэтому положение камня на вершине горы неустойчиво (максимум гравитационной энергии), а на дне ущелья он может лежать вечно (минимум гравитационной энергии).

Нейроны подражают атомам

Пионеры эпохи нейросетей заимствовали идеи из нейрофизиологии, психологии, математической логики, но не физики. Идея «одолжить» у физиков хорошо разработанный аппарат для описания коллективных явлений была вовсе не очевидной. Чтобы увидеть аналогию между нейронами и атомами, требовалось немало воображения и научной смелости. Одним из первых это сделал Джон Хопфилд, физик-теоретик в начале карьеры, затем биофизик и, наконец, разработчик нейросетей.

В 1982 году Хопфилд опубликовал описание нейросети, позже названной его именем. Нейроны в сети Хопфилда — это упрощенная модель атомов железа. Ученый принял, что магнитная стрелка имеет только два возможных направления — вверх или вниз. Получился искусственный нейрон, способный хранить два возможных числа — 0 и 1. От каждого нейрона ко всем остальным тянется ниточка-связь. Эти связи могут иметь разную силу. Обучение нейронной сети состоит в том, что она подбирает значение силы для каждой связи.

Интеллект как с картинки

Состояние сети из двоичных нейронов (0 или 1) удобно представлять себе как картинку из черных и белых пикселей: 1 — черный, 0 — белый. Состояние сети из 100 нейронов — картинка 10х10. Всего существует 2100, то есть более 1030 (единица и 30 нулей после нее) таких картинок.

Обучим нейросеть распознавать изображения русских букв размером 10х10 пикселей. Для этого по очереди покажем сети каждую букву. Другими словами, окрасим каждый нейрон сети в черный или белый (1 или 0) так, чтобы вся сеть изображала букву А. Потом повторим то же с буквой Б и т. д. Сети Хопфилда, в отличие от большинства других нейросетей, достаточно показать каждый образец один раз. На этом обучение завершится: сила каждой связи между нейронами будет зафиксирована.

Хопфилд приписал каждому возможному состоянию сети энергию. Она имитирует энергию суммарного магнитного поля и рассчитывается по похожей формуле. Можно представить себе каждое из 2100 состояний нейросети как точку на пересеченной местности. Энергия сети — это «высота над уровнем моря». Ландшафт формируется при обучении и диктуется силами связей между нейронами. Каждый образ, который система запомнила,— это «овраг», состояние с минимальной энергией. То есть на нашей местности будет 33 оврага, каждый из которых — образ буквы.

Вниз, к истине

Допустим, что этап обучения пройден, то есть ландшафт сформирован. Теперь окрасим нейроны сети произвольным образом, например, так, чтобы получилось изображение цифры 8. Это входное изображение. Задача искусственного интеллекта — найти букву, на которую оно больше всего похоже.

Изображение цифры 8 — это одно из состояний нейросети, точка на пересеченной местности. Задача сети — найти путь из этой точки на дно ближайшего оврага. Этот овраг — буква, на которую цифра 8 больше всего похожа. Такую же задачу «решает» футбольный мяч, брошенный в случайную точку ландшафта.

Каким образом нейросеть заставляет мяч катиться вниз? Для начала какой-нибудь случайно выбранный нейрон обновляет свое значение, то есть цвет. Новое значение выбранного нейрона (0 или 1) рассчитывается, исходя из значений всех остальных нейронов и силы его связей с ними. Формулу для этого расчета Хопфилд позаимствовал из физики. Очень похожая формула описывает, как магнитные стрелки в куске железа поворачиваются под действием соседей.

В этой формуле важно вот что: нейрон «перекрашивается», только если суммарная энергия сети при этом уменьшается, то есть мяч сдвигается вниз. В противном случае нейрон сохраняет свой прежний цвет. Так же и магнитная стрелка в куске железа поворачивается так, чтобы уменьшить суммарное поле.

Обновление нейронов прекращается, когда сеть приходит в устойчивое состояние. Программа проверяет нейрон за нейроном и не может их перекрасить: любое изменение увеличило бы энергию сети. Другими словами, энергия достигла минимума, мяч остановился на дне оврага. Возможно, поблизости и есть овраг поглубже, но до него не добраться: мяч попал в точку, все пути из которой ведут вверх. Если входное состояние изображает цифру 8, то оврагом, скорее всего, окажется похожая на нее буква В. Ее изображение и будет результатом работы сети.

Конечно, назначение сети Хопфилда — не подыскивать буквы, похожие на цифры. Ее «специальность» — восстановление неполных или испорченных изображений. Если взять ту же букву В и переставить в ее изображении несколько пикселей, система поймет, какая литера «имелась в виду».

Впрочем, значимость работы лауреата не в том, что он изобрел конкретную нейросеть. У сетей Хопфилда есть серьезные недостатки, и сейчас ими практически никто не пользуется. Важнее, что ученый перебросил мост между физикой и машинным обучением, проложив физическим подходам и самим физикам дорогу в новую науку.

Творчество как случайность

Одним из физиков, воспринявших идеи Хопфилда, был второй нынешний лауреат — Джеффри Хинтон. Он создал нейросеть для создания новой информации «по образу и подобию» входных данных. Ее задача — не распознать образ, а создать новый, но похожий.

Ученый черпал вдохновение не в магнетизме, а в статистической механике — науке о том, как тепловые свойства вещества возникают из движения огромного количества атомов или молекул. В честь одного из основателей этой науки Хинтон назвал свое детище машиной Больцмана.

Хинтон, как и Хопфилд, приписал энергию каждому возможному состоянию сети. Эта энергия сложным образом зависит от состояния всех нейронов и силы связей между ними. Но в целом можно сказать, что энергия тем больше, чем больше разница между входным изображением и рисунком, созданным нейросетью. Машина Больцмана, как и сеть Хопфилда, отыскивает сходство между изображениями, минимизируя свою энергию.

Однако Хинтон разделил нейроны на видимые и скрытые. В видимые нейроны мы записываем входное изображение и с них же считываем результат, как в сети Хопфилда. А с помощью скрытых система «думает». Желательно, чтобы скрытых нейронов было намного больше, чем видимых.

Кроме того, Хинтон добавил в систему случайность. У сети есть целый набор возможных реакций на одни и те же входные данные. Однако эти реакции неравноправны. Каждая возможная раскраска нейронов-пикселей имеет собственную вероятность. Эта вероятность тем меньше, чем больше энергия. Говоря более точно, вероятность зависит от энергии по формуле, известной как распределение Больцмана. Это распределение очень часто встречается в статистической механике. Например, распределение Больцмана объясняет разрежение воздуха на большой высоте. Чем больше гравитационная энергия (а значит, и высота), тем меньше вероятность, что молекула газа получит эту энергию, то есть доберется до данной высоты.

Хинтон опубликовал ключевые работы по машине Больцмана в 1983–1985 годах. Вслед за ним и другие специалисты по ИИ взяли на вооружение подходы из статистической механики, создав целый новый класс нейронных сетей.

Машина Больцмана очень долго обучается даже на мощных компьютерах. В связи с этим в 2002 году Хинтон пересмотрел форму сети, обрезав избыточные связи между нейронами. Такой вариант нейросети называется ограниченной машиной Больцмана. Она обучается намного быстрее и до сих пор иногда применяется — правда, чаще всего в комбинации с другими нейросетями.

За двумя зайцами?

Если спросить специалиста по искусственному интеллекту, чем знаменит Хинтон, едва ли тот вспомнит именно машину Больцмана. Бывший физик создал мощную и влиятельную школу машинного обучения. Хотя Хинтон не так много изобрел «с нуля», он развил и популяризовал важнейшие идеи, ранее остававшиеся почти незамеченными. Достаточно вспомнить метод обратного распространения ошибки — возможно, самый востребованный способ обучения нейросетей. Он был описан еще в начале 1960-х, затем несколько раз переоткрыт. Но широкое признание у специалистов метод получил только в 1986 году после публикации Хинтона, Дэвида Румельхарта и Рональда Уильямса. Обтекаемая формулировка об «открытиях и изобретениях» намекает на то, что в расчет принималось и это достижение ученого.

Неожиданный выбор лауреатов 2024 года выглядит попыткой усидеть на двух стульях: дать премию за искусственный интеллект, но соблюсти формальную причастность к физике. Компромисс, похоже, оказался не совсем удачным. В физике ни один из нынешних лауреатов не сделал открытий нобелевского уровня. Машинное обучение — совсем другая наука. Но если уж присуждать премии за нее, то в этой области найдутся кандидаты и позаслуженнее Хопфилда. Правда, вклад Хинтона в машинное обучение огромен, но главные его достижения не вдохновлены физикой.

Шведская королевская академия наук не впервые пытается уместить раскидистое древо современной науки в прокрустово ложе решений Альфреда Нобеля. Премию по физике неоднократно получали астрономы, а в 2021 году ее удостоились климатологи Сюкуро Манабэ и Клаус Хассельман. Пожалуй, лучшим решением было бы учреждение премий памяти Альфреда Нобеля по всем «обделенным» наукам, как было в свое время сделано для экономики.

Анатолий Глянцев, кандидат физико-математических наук