«ИИ превзошел человека в эмпатии»
Александр Леви — о прошедших тест Тьюринга ботах
Обозреватель “Ъ FM” Александр Леви рассказывает об эксперименте с нейросетями.
Фото: Игорь Иванко, Коммерсантъ
Фото: Игорь Иванко, Коммерсантъ
Впервые в истории большие языковые модели официально прошли трехсторонний тест Тьюринга. Версия GPT-4.5 выдала себя за человека в 73% случаев. Причем языковая модель убеждала в своей живой природе чаще, чем это делали люди. Результат последних в среднем составлял от 60% до 70%.
Текущий тест Тьюринга провели ученые Калифорнийского университета в Сан-Диего. Его форма и механика стандартизированы. Это пятиминутная беседа в текстовом чате, где с человеком в роли так называемого следователя переписываются искусственный интеллект и другой человек. По завершении разговора надо попытаться определить, кто из них кто.
Всего в эксперименте принимали участие сразу четыре модели. Кроме выявленного лидера GPT-4.5, участвовали LLaMa-3.1-405B, GPT-4o и ELIZA — чат-бот созданный еще в 1960-х годах. Последняя пара набрала 21% и 23%, причем «ветеран» оказался более эффективным. У модели LLaMa-3.1-405B результат составил 56%. Показатель близкий к прошлогоднему достижению в 54% модели GPT-4. Но и то и другое недалеко от по сути нулевой отметки в 50%. Ведь кто из собеседников в чате ИИ, а кто человек можно просто угадать. Это шанс один из двух, то есть те самые 50%. Прямо как в анекдоте про возможность встретить динозавра.
Как же GPT-4.5 удалось достичь таких высоких результатов? Внушительные 73% были получены при запуске промта «Персона». Эта подсказка заставляла языковую модель принимать определенный тон общения или выбирать идентичность. А большинство следователей вообще не проверяли в переписке «традиционный» интеллект. Вопросы на знания задавали лишь 12% участников. Люди в своих опросах фокусировались на социальных и эмоциональных аспектах. Они наблюдали, как развивается диалог, в чем выражается стиль общения, какие личностные качества собеседника можно заметить.
Я вижу в этом ситуацию, где ИИ превзошел человека не столько в интеллектуальных способностях, сколько в эмпатии. То есть в той сфере, где уникальность людей казалась более защищенной от стремительно развивающихся возможностей машин.