Ландшафт ума

Лауреатами Нобелевской премии по физике 2024 года стали американец Джон Хопфилд и британец Джеффри Хинтон, работающий в Канаде. Премия присуждена им «за основополагающие открытия и изобретения, которые позволяют осуществлять машинное обучение с использованием искусственных нейронных сетей», сообщает сайт премии. Оба лауреата применили для создания нейронных сетей принципы, позаимствованные из физики, объясняет кандидат физико-математических наук Анатолий Глянцев.

Выйти из полноэкранного режима

Развернуть на весь экран

Джон Хопфилд в 1982 году представил нейросеть, позже названную его именем. Нейроны в ней подражают атомам железа. Каждый атом железа можно представлять себе как крошечную магнитную стрелку. Эти стрелки взаимодействуют и стремятся выстроиться так, чтобы суммарное магнитное поле куска железа было равно нулю. Это проявление фундаментального принципа: почти всякая система в природе стремится минимизировать свою энергию. Именно поэтому положение камня на вершине горы неустойчиво (максимум гравитационной энергии), а на дне ущелья он может лежать вечно (минимум гравитационной энергии).

Для определенности предположим, что мы обучаем нейросеть классифицировать изображения. Сначала мы предъявляем ей фотографии кошек, собак и людей, чтобы она запомнила, как кто выглядит. Когда обучение завершится, мы будем показывать искусственному интеллекту разные изображения и спрашивать: это кошка, собака или человек?

Можно представить себе каждое состояние нейросети как точку на местности, изобилующей холмами и оврагами. Хопфилд приписал каждому состоянию нейронной сети условную энергию — «высоту над уровнем моря». Формулу для расчета этой энергии ученый позаимствовал из физики магнетизма. Рельеф местности формируется по мере обучения нейросети. Алгоритм обучения устроен так, чтобы минимумы энергии — дно оврагов — соответствовали образам, которые искусственный интеллект пытается запомнить.

Пусть теперь обучение завершилось, то есть ландшафт сформирован. Предъявим машине изображение, которое она должна классифицировать. Это все равно что бросить на нашу пересеченную местность футбольный мяч. Он скатится на дно ближайшего оврага.

Объясним это более формально. Поданное на вход изображение приведет нейросеть в некоторое состояние. Энергия этого состояния, скорее всего, будет велика по сравнению с запечатленными в ландшафте минимумами (дном оврагов). Нейросеть будет изменять состояние одного нейрона за другим в сторону уменьшения суммарной энергии (мяч катится вниз). Этот процесс прекратится, когда энергия достигнет ближайшего минимума, все пути из которого ведут вверх (мяч остановился на дне оврага).

Что это означает применительно к задаче классификации изображений? Ближайший овраг — это образ в памяти нейросети, максимально похожий на предъявленное ей изображение. Если это образ кошки, нейросеть решит, что ей показали кошку.

Джеффри Хинтон в 1983–1985 годах творчески переработал подход Хопфилда. Его нейросеть тоже оперировала условной энергией. Но на сей раз состояния нейросети были случайными, причем вероятность каждого состояния зависела от его энергии. Эта зависимость известна каждому физику как распределение Больцмана. Оно часто встречается в науке о тепловых явлениях.

Машина Больцмана, как назвал Хинтон свою разработку, предназначена не для классификации, а для создания нового контента, например изображений. Когда ей предъявляют обучающие изображения, нейросеть закрепляет образ в своей памяти. Каждому образу соответствует не одно состояние сети, а множество. Когда машина начинает творить, то состояния, отвечающие заученному образу, имеют максимальную вероятность возникновения.

В 2002 году Хинтон презентовал усовершенствованный вариант этой модели — ограниченную машину Больцмана. Она обучалась значительно быстрее оригинала.

Работы обоих лауреатов сыграли важную роль в возрождении интереса к нейронным сетям в конце XX — начале XXI века, благодаря которому искусственный интеллект прочно вошел в нашу жизнь.