Перплексия и другие особенности
Как отличить человеческий текст от текста, написанного искусственным интеллектом
Главным достижением коллектива ученых, среди которых — ведущий научный сотрудник и руководитель исследовательской группы Центра прикладного ИИ Сколтеха Сергей Баранников, а также аспиранты Кристиан Кузнецов и Эдуард Тульчинский и еще ряд специалистов, стал метод, позволяющий даже при ограниченном объеме текста надежно определять, что писал человек, а что — машина. «Наш успех — это результат комбинации проверенных ИИ-моделей и собственных уникальных разработок,— говорит Сергей Баранников.— Хочется также отметить первых двух соавторов статьи — Лаиду Кушнарёву и Татьяну Гаинцеву, чей вклад невозможно переоценить».
Фото: Александр Казаков, Коммерсантъ
Фото: Александр Казаков, Коммерсантъ
Проблема непраздная. Из-за быстрого развития больших языковых моделей люди все чаще сталкиваются с текстами, часть которых написана человеком, а часть сгенерирована машиной. Между тем есть ситуации, когда, например, необходима атрибуция авторства и важно четко определить границу между текстом человеческим и созданным ИИ.
Как выяснили ученые, существующие методы не всегда справляются с задачей. Например, современные трансформеры, такие как RoBERTa, склонны к переобучению и плохо работают с текстами из различных областей знания. Чтобы максимально точно разграничить человеческий и машинный тексты, специалисты использовали так называемые замороженные модели, которые не дообучаются на новых данных. «“Замороженные” модели не подстраиваются под новые данные, благодаря чему могут выявлять стабильные черты, характерные для машинного текста, без риска “запомнить” какие-то конкретные образцы и потерять способность к обобщению. Такой подход минимизирует вероятность переобучения, делая модель более универсальной, чтобы она могла успешно обрабатывать разнообразные типы текстов»,— объясняет Сергей Баранников.
Для повышения точности и улучшения детекции различий между текстами были применены также методы на основе перплексии. «Они помогают оценить предсказуемость текста,— рассказывает ученый.— Перплексия, если говорить простыми словами, отражает, насколько легко модели “угадать” следующее слово в предложении. Высокая перплексия — это как текст с сюрпризом на каждом шагу, что обычно свойственно человеческому письму. Низкая перплексия означает более предсказуемую структуру, что часто встречается в машинном тексте. Этот показатель помогает нам точнее различать тексты, так как модели машинного обучения склонны к созданию шаблонных и более предсказуемых структур».
Установив, что на точность алгоритмов могут существенно влиять длина предложений и их структура, ученые предложили способ этого влияния избежать. «Мы обнаружили, что параметры текста, такие как длина предложений и их структура, способны сбить с толку модель,— отмечает Сергей Баранников.— Алгоритм могут путать в том числе тексты типа инструкций или рецептов, где каждый элемент расположен по шаблону. Чтобы справиться с проблемой, мы разработали подходы, которые снижают влияние этих предсказуемых форматов, повышая способность модели к обобщению и ее точность в различении машинных текстов в более широком контексте».
«Подключив модели, такие как RoBERTa, и добавив свои решения, мы смогли “обучить” систему различать машинный текст по характерным для него чертам — предсказуемой структуре, некоторым типичным паттернам и меньшей вариативности, что отличает его от человеческого письма, которое, как правило, более разнообразно и сложно для предсказания»,— подытоживает Сергей Баранников.
Доклад, посвященный результатам исследования, был представлен на конференции по языковому моделированию, организованной Университетом Пенсильвании в Филадельфии, США. Выступление было встречено овацией, а статья получила Outstanding Paper Award — награду за лучшую статью. «Многие наши научные работы принимаются на топовые конференции не только для публикации, но и для устных докладов и постерных сессий. Это значит, что наши ученые едут за рубеж и представляют свои разработки очно»,— сказал в эксклюзивном интервью «Ъ-Науке» ректор Сколтеха академик РАН Александр Кулешов.
«Самые уважаемые в мире научные конференции в области ИИ свободны от предрассудков,— говорит Сергей Баранников.— Мы подали заявку и на эту конференцию, и еще на несколько топовых в этом году, и везде наши статьи были отобраны для публикации. Отношение организаторов и других участников было самое доброжелательное».
Это уже не первая конференция по искусственному интеллекту, на которой выступает Сергей Баранников. В прошлом году доклад «Оценка внутренней размерности для надежного обнаружения текстов, сгенерированных ИИ», подготовленный возглавляемой им научной группой, был тепло встречен на конференции NeurIPS 2023 в Новом Орлеане. «Не верьте, если вам скажут: “Ой, вы знаете, я подготовил блестящий доклад, а меня не публикуют, не приглашают на научные форумы”. Если результат хороший, он все равно станет достоянием научной общественности»,— уверен Александр Кулешов.