И всё-таки она плоская!
Иван Оселедец — о том, как команда российских математиков доработала выводы нобелевского лауреата
В 2024 году Нобелевскую премию по физике присудили исследователям в сфере компьютерных наук и математикам Джеффри Хинтону и Джону Хопфилду. В 1970-х Хопфилд работал над созданием «ассоциативной памяти» для компьютерных систем. Математики из Института AIRI и Сколтеха изучили, как выглядит ландшафт функции энергии в этой модели, и выяснили, что она не подходит для многих современных нейронных сетей.
Иван Оселедец
Фото: Пресс-служба AIRI
Иван Оселедец
Фото: Пресс-служба AIRI
О том, чем человеческая память отличается от памяти электронных устройств, и о новом способе построения функции энергии — в интервью «Ъ-Науке» Ивана Оселедца, доктора физико-математических наук, профессора РАН, генерального директора Института AIRI и профессора Сколтеха.
— Для начала как вообще работает память электронных устройств?
— Когда мы сохраняем фотографии, заметки, музыку в своем телефоне или на компьютере, как правило, мы пользуемся памятью с произвольным доступом — RAM. В такой памяти данные хранятся в отдельных ячейках, каждая из которых обладает уникальным адресом. Получить доступ к ячейке можно, только зная адрес. В качестве простого примера можно рассмотреть список, реализованный на языке Python, с несколькими строками, содержащими информацию о жизни Ивана Петровича: «‘16 февраля 2010 года Иван Петрович отправился на рыбалку и поймал здоровенного карася.’, ‘Однажды, вкручивая лампочку, Иван Петрович подумал, что Ленин все-таки не зря был вождем мировой революции.’, ‘В 2023 поздней весной у Ивана Петровича родился внук Сергей.’». В этом примере первое «воспоминание» о карасе имеет адрес 0, а оставшиеся — 1 и 2. Хоть адрес никак не связан с содержанием, именно его нужно вспомнить, чтобы извлечь информацию об одном из событий.
— А память людей? И как она связана с памятью искусственного интеллекта?
— Человеческая память устроена иначе. Иван Петрович скорее вспомнит о своем легендарном карасе, подумав о феврале, или о 2010 годе, или о зимней рыбалке, но уж точно не о ячейке под номером 0. Память такого типа называется ассоциативной или контекстно-адресуемой. Главное отличие от памяти с произвольным доступом в том, что извлечение информации происходит не по абстрактному адресу, а по приближенному содержанию воспоминания — в случае с Иваном Петровичем «‘весна’ -> ‘внук’, ‘зима’ -> ‘карась’, ‘Ленин’ -> ‘лампочка’». Многочисленные опыты физиологов и психологов, например Скиннера и Павлова, показали, что живые существа обучаются, формируя ассоциации именно с содержанием импульса, поэтому контекстно-адресуемая память выглядит более естественной с биологической точки зрения. Желание узнать больше о принципах ассоциативной памяти привело к появлению большого пласта эмпирических исследований и упрощенных математических моделей.
— Расскажите, пожалуйста, о модели ассоциативной памяти Хопфилда.
— В работе 1982 года под названием «Neural Networks and Physical Systems with Emergent Collective Computational Abilities» Джон Хопфилд предложил модель памяти на основе спинового стекла. Воспоминания описываются векторами с дискретными компонентами, принимающими значения +1 и –1 — спин вверх и спин вниз. Процесс извлечения воспоминаний соответствует движению к ближайшему локальному минимуму функции энергии системы, которая описывает взаимодействия между соседними спинами. Двумя годами позже Хопфилд представил вторую модель ассоциативной памяти на основе системы обыкновенных дифференциальных уравнений. В этой модели воспоминания уже описывались векторами с вещественными числами.
Функция энергии в работе Хопфилда и Кротова; функция энергии в работе «Вычислительный интеллект»
Функция энергии в работе Хопфилда и Кротова; функция энергии в работе «Вычислительный интеллект»
— Как все это связано с искусственным интеллектом?
— Для развития мощных систем важна длина контекста информации, которую мы можем в них «погрузить». А еще благодаря использованию механизмов памяти улучшается контекстная осведомленность и способность ИИ-моделей учиться на прошлом опыте и ошибках.
Непрерывность превратилась в одну из наиболее важных характеристик, необходимых для обучения эффективных нейросетевых моделей. Например, в одной из недавних популярных статей «Hopfield Networks is All You Need» авторы обнаружили связь между механизмом внимания и ассоциативной памятью Хопфилда. Тогда же Джон Хопфилд и его соавтор Дмитрий Кротов сформулировали новую версию модели ассоциативной памяти, которую сейчас называют «обобщенной моделью Хопфилда». Эта модель не только объединила все прошлые, включая дискретную (1982) и непрерывную (1984) память Хопфилда, но и позволила естественным образом связать ассоциативную память с другими нейросетевыми моделями. Например, с механизмом внимания, сверточными сетями, сетями с вентелем (gated mechanism, GRU) и множеством других современных архитектур.
С технической точки зрения обобщенная модель Хопфилда описывается особым классом обыкновенных дифференциальных уравнений, обладающих функцией Ляпунова, она же — функция энергии. Функция энергии призвана гарантировать существование стационарных состояний, которые моделируют воспоминания. Более точно предполагается, что начальные условия соответствуют неполному или искаженному содержанию воспоминания. В процессе эволюции, согласно обыкновенному дифференциальному уравнению, система приходит к состоянию, которое не меняется с течением времени. Это состояние и описывает воспоминание, наиболее близкое к начальным условиям.
— Вы изучили, как выглядит ландшафт этой функции, и выяснили, что она не подходит для многих современных нейронных сетей. Почему?
— Оказалось, что в случае, если какие-то активационные функции нейронов насыщаются, энергия становится плоской. Представьте себе оживленный город, в котором много фонарей и светофоров. Когда уличное освещение гаснет, определенные участки городского пространства темнеют, замедляется движение транспорта. Нейронные сети состоят из цепочек искусственных нейронов, которые имитируют нейроны головного мозга человека. Так же как и фонари, нейроны могут гаснуть или, как мы говорим, «умирать». Мертвые нейроны могут привести к образованию плоских областей в энергетическом ландшафте нейросетей. После этого узнать, что происходит в этих областях, становится невозможно. Из-за этого невозможными становятся изучение устойчивости системы и восстановление динамических переменных из уравнения.
Мы с соавтором Владимиром Фанасковым обнаружили, что даже в таких сложных ситуациях можно собрать полезную информацию о состоянии сети, посмотрев на матрицу вторых производных, гессиан, функции Лагранжа, связанной с активационными функциями нейронов. Доказали, что если устойчивое состояние стабильно, то и вся плоская область вокруг него может считаться стабильной. Это означает, что, даже если некоторые нейроны мертвы, сеть может функционировать эффективно. Предложили способ исправить ситуацию в исходной системе и новый способ построения функции энергии, благодаря которому можно избежать образования плоских областей в ландшафте памяти.
— Как можно применить этот результат на практике?
— Надеемся, что результаты работы помогут коллегам-ученым получать гарантии при теоретическом анализе моделей ассоциативной памяти. В 1984 году Хопфилд сформулировал модель ассоциативной памяти для узкого класса нейронных сетей с обратимыми активационными функциями. В 2020 году Хопфилд и Кротов переформулировали модель 1984 года так, чтобы формально исключить обратные активационные функции.
Мы обнаружили, что это не решило проблему и функция энергии, предложенная в 2020 году, также не может быть использована для описания нейронных сетей с современными активационными функциями — например, ReLU, GELU или softmax. Ассоциативная память требует анализа устойчивости. А еще для дальнейшего развития ИИ необходимо сформулировать математическое обоснование принципов его работы. Мало получить рабочее решение. Ученый должен знать, как и почему оно функционирует определенным образом. Кстати, в МИАНе, Математическом институте им. В. А. Стеклова РАН, недавно появился целый отдел математических основ ИИ. Первый в России и один из первых в мире.