«Возникла иллюзия, что если у нас будет достаточно данных, мы сможем решить любую задачу»

Мировой гигант Microsoft впервые ограничил доступ к своим технологиям искусственного интеллекта (ИИ) — распознаванию изображений и синтезированию голосовых подделок (дипфейков). Это произошло из-за принятия нового стандарта этики в отношении ИИ, согласно которому интересы личности должны стоять выше технологий. Влияние искусственного интеллекта на реальную жизнь активно обсуждается и в среде российских ученых. Один из авторитетных в РФ экспертов в области вычислительных технологий ректор научно-технологического университета «Сириус» Максим Федоров в беседе с “Ъ”, в частности, заявил о необходимости скорейшего внедрения и актуализации недавно разработанного этического кодекса искусственного интеллекта. Вряд ли нас в ближайшее время захватят разумные роботы. Но на вопрос, что можно доверить искусственному интеллекту, а что категорически нельзя, нужно ответить уже сегодня.

Выйти из полноэкранного режима

Развернуть на весь экран

— С чем связано оживление дискуссии об этике в области искусственного интеллекта?

— Тема искусственного интеллекта — одна из самых актуальных в современной науке. При этом сегодня обсуждаются вопросы, которые далеко вышли за пределы самих технологий и касаются развития человеческого сообщества в целом. Технологии в сфере искусственного интеллекта появляются быстрее, чем мы успеваем их осмысливать. Мы много этим вопросом (этики ИИ.— “Ъ”) занимались вместе с ректором Сколтеха Александром Кулешовым, который является председателем российского комитета по вопросам этики искусственного интеллекта при Комиссии РФ по делам ЮНЕСКО.

Самый яркий пример последнего времени — дипфейки — генерация изображений и звука с помощью машинного обучения.

Представьте, что вы можете на домашнем компьютере записать и отправить знакомым сообщение, которое человек никогда не произносил. Многие узнали о дипфейках, когда нейронные сети «оживили» портрет Моны Лизы (разработка, в которой, кстати, активно участвовали наши коллеги из Сколтеха). Такие возможности, с одной стороны, захватывают воображение, с другой, требуют разработки целого спектра вопросов в социальном, правовом и этическом поле. Не секрет, что различные технологии больших данных и машинного обучения используются для манипулирования массовым сознанием, а дипфейк — как раз один из мощных инструментов для подобных действий.

— Пару лет назад в Германии был громкий случай, когда бизнесмену позвонил «начальник» и приказал перевести крупную сумму денег на счет. Это был сгенерированный с помощью дипфейка голос. Речь о подобном?

— Экономические преступления — лишь один из вариантов злоупотребления дипфейками. Поэтому сейчас самое время опять вспомнить про недавно разработанный российский этический кодекс в сфере искусственного интеллекта (разработан в рамках национального проекта по Искуственному Интеллекту).

Насколько в принципе этично посылать сфабрикованные изображения друзьям или знакомым? Насколько этично выкладывать это в соцсетях?

Пока мы пытаемся об этом думать, технология распространяется все шире.

— Машинное обучение стало настоящим прорывом для многих областей науки.

— Да, потому что эти технологии позволили решить несколько проблем, которые долгое время считались нерешаемыми. Сначала алгоритмы сделали прорыв в играх. Хотя алгоритм, который в свое время обыграл Каспарова, строго говоря, основан не на данных, а на технологии, которая, по сути, занимается перебором вариантов. Сейчас есть новые подходы, когда мы изначально задаем программе правила игры, а дальше она сама генерирует огромное количество сценариев и учится на них. На этом принципе построена работа программы AlphaGo, разработанной DeepMind, которая обыграла чемпиона мира по игре в го.

Другая важнейшая проблема — распознавание изображений. Над ней специалисты бились много лет, и вдруг на рубеже 2010-х произошел резкий скачок: искусственный интеллект начал это делать лучше, чем человек.

Из-за этого сегодня возникла иллюзия, что если у нас будет достаточное количество данных, мы сможем решить любую задачу,

— А почему это не так? Сегодня физики уже научили нейронные сети ставить диагнозы, искать новые материалы и даже управлять термоядерным реактором в Лозанне, правда, пока в экспериментальном режиме.

— Существует несколько нерешенных фундаментальных проблем. Первая из них известна специалистам как неустойчивость решений сложных нейросетевых алгоритмов. Также качество решений нейросети сильно зависит от качества данных. Фактически машина учится на данных, которые чем-то ограничены. Если вы распознаете кошек среди животных, все будет хорошо до того момента, как у вас появится манул или рысь, которых не было в исходной выборке. Соответственно, система их не опознает.

Реальная жизнь рано или поздно выйдет за контур заданных сценариев, и поэтому ошибки в системах машинного обучения неизбежны.

Тем не менее мы регулярно слышим о суперэффективных, почти идеальных системах распознавания. Однако полностью им доверять очень опасно, потому что мы можем начать их использовать в областях, для которых они не предназначены. Преувеличенная надежда на такие системы в критически важных производствах уже привела, как знают специалисты, к ряду аварий. То есть вопрос о пределах применимости нейросетей сейчас стоит очень остро.

— Можете привести пример?

— Ошибки бывают сплошь и рядом в медицинских приложениях, потому что постановка диагноза основана на конкретной выборке людей. Если вы изучали больных гриппом, а потом появился пациент с ковидом, диагностические системы на основе ИИ будут поначалу давать ошибки просто потому, что в них изначально не заложены соответствующие данные.

Эту проблему невозможно устранить целиком просто потому, что так устроена природа: в ней всегда найдется что-то новое. И это одно из глобальных ограничений для применения подобных технологий.

— Существуют и другие?

— Сейчас возник новый популярный класс киберугроз — закладки через данные. Риски связаны с тем, что результат работы нейросети не описывается аналитически, то есть вы не можете понять, почему система приняла то или иное решение. Ведь что такое обученные нейросети? Это некий алгоритм с триллионами параметров, в котором невозможно разобраться после того, как нейросеть обучена. Изучение нейросетей остается отдельной областью науки, где учреждено огромное количество премий для поощрения тех, кто сможет понять, как они работают.

— Как же тогда там можно разместить закладки и что это такое?

— Можно специальным образом скомпоновать данные, чтобы алгоритм принимал те решения, которые нужны вам. Причем вы можете это сделать открыто на глазах у всех, потому что код открыт.

Это в целом меняет всю философию кибербезопасности, ведь до сих пор все усилия были направлены на поиск закладок в коде, а тут их нет, они прошиты глубже — в самих данных, на которых система учится.

И пока нет технологии, которая позволила бы надежным способом эти закладки отлавливать. Поэтому к открытым датасетам для обучения я отношусь с настороженностью.

— Можно привести примеры, о чем идет речь?

— Профессионалы знают, что можно настроить систему так, что ваш номер машины не будет распознаваться дорожными камерами. Или особым образом нанести на лицо грим, и опять же камеры перестанут вас распознавать. С помощью закладки можно заставлять систему работать по-другому. Например, при кодовом слове или изображении, которое внешне ничем не отличается от других, система начинает работать так, как нужно вам.

Если наложить особую рябь на изображение, которую не видит человеческий глаз, компьютер начнет опознавать его как-то иначе, например считать человека пандой.

Это очень смешно, до той поры, пока такие кибератаки не касаются чего-то серьезного.

Например, закладку можно встроить в алгоритмы управления беспилотным автомобилем: обычно машина останавливается, если «видит» знак STOP, но если на него нанести особый шум, она вдруг ускорится до 150 км/час. В принципе сейчас такую штуку может сделать любой специально подготовленный студент. Так что вопрос новых классов киберугроз чрезвычайно серьезный.

Выйти из полноэкранного режима

Развернуть на весь экран

Алгоритм расскажет, как жить

— Проблема, видимо, в том, что человеку хочется доверять новым технологиям, и он с удовольствием перекладывает на алгоритмы ответственность за решения?

— Лень — это механизм, который заложен в нас эволюционно. Это расслабляет, а потом за все приходится платить. Если ты передоверил часть критически важных функций алгоритму, в какой-то момент этим алгоритмом кто-то захочет завладеть.

— Самый яркий пример, когда алгоритмы вмешиваются в жизнь, человека связан с работой китайского социального рейтинга. С помощью сбора больших данных система сама выставляет оценки человеку, определяя его положение в обществе. Человек с низким рейтингом не может устроиться на нормальную работу, купить билет на самолет и так далее. Что вы об этом думаете?

— Китайский, как и любой другой социальный рейтинг, это зло. Причем основная проблема рейтингов сугубо научная. Те, кто их внедряет, плохо знают математику. Что такое рейтинг по сути? Это попытка аппроксимировать сложную социальную, культурную и прочую реальность в некой модели с конечным количеством параметров.

А универсальной модели, которая бы все описывала с помощью конечного количества параметров, до сих пор не существует. Поэтому ошибки в данном случае неизбежны.

Как Сингапур сочетает развитую экономику и тотальную слежку

Вопрос только в том, когда они произойдут. Вторая проблема — перехват управления. Кто эти рейтинги создает? Кто их считает? Внутри всегда будет находиться программист, сисадмин, другие специалисты. Поэтому рейтинг может очень просто становиться объектом манипуляции Люди, как правило, чувствуют это на подсознательном уровне, и чаще всего к социальным рейтингам в обществе возникает интуитивное отторжение.

— При этом цель рейтинга звучит до боли знакомо: «построение гармоничного социалистического общества».

— Когда говорят, что такие новшества помогут избежать социального взрыва, это не правда. Они только ухудшают ситуацию, потому что усугубляют существующее неравенство и провоцируют недовольство, которое в итоге выльется на эту систему, и ее начнут ломать как изнутри, так и снаружи.

— В Евросоюзе тоже разрабатывали что-то подобное, а в прошлом году запретили применять искусственный интеллект для формирования социального рейтинга человека. Знаете об этом?

— Да, я участвовал в этой дискуссии в свое время на разных международных площадках, в том числе в рамках ЮНЕСКО. И хотя я редко соглашаюсь с коллегами из Евросоюза по целому ряду принципиальных вопросов, в данном случае поддерживаю идею моратория на разработку социальных рейтингов.

В Евросоюзе весьма мультикультуральное общество, и когда специалисты начали разрабатывать модель для рейтингования, предположу, стало понятно, что она становится слишком сложной. Такой сложной, что в принципе не сможет работать.

— В России тоже поднималась дискуссия о необходимости «индекса социальной полезности», не так ли?

— Мы много раз обсуждали этот вопрос на разных уровнях, в том числе с членом Совета при президенте России по развитию гражданского общества и правам человека Игорем Ашмановым. Со стороны экспертного сообщества мы выступаем против социального рейтинга в принципе, потому что это логически порочный и научно не обоснованный подход. Пока, как мне известно, ничего подобного вводить не планируется.

Золотая молекула

— По прогнозам экспертов, к 2025 году 30% новых лекарств будет конструироваться с помощью методов генеративного ИИ. В какой части создания лекарств он применяется чаще всего?

— В основном для поиска молекул-кандидатов лекарств. Это очень трудоемкий процесс, потому что нужно найти из известных сегодня 100 млн молекул одну.

Более того, сегодня можно генерировать и синтезировать новые молекулы, не существующие в природе. Создаются огромные синтетические базы данных, где тоже можно искать кандидатов в лекарства.

— Где хранятся все эти биомедицинские библиотеки?

— На самом деле 100 млн молекул — это не так много, потому что структура молекулы записывается очень небольшим количеством данных. Такую базу можно сохранить на персональном компьютере. Кстати, поэтому больше всего на кибербезопасности повернуты фармкомпании: конкурентам нужно украсть не терабайт, а даже не гигабайт данных. Структура молекулы меньше килобайта, и ее можно набросать на листке бумаги или записать точками и тире.

А вот когда мы говорим о поиске молекул по синтетическим базам данных, то там уже речь идет о миллиардах и даже триллионах единиц, поэтому для такой работы нужно строить отдельные специализированные дата-центры.

В России они есть, но пока здесь мы сильно отстаем от многих технологически развитых стран по инфраструктуре на душу населения.

— Есть ли для специалиста разница, что искать — дорогостоящую молекулу от онкологии или, условно говоря, массовую от респираторного заболевания? В чем разница процесса и где выше шанс найти что-то уникальное, что приносит доход компании?

— Знаете, на чем в основном западные фармкомпании зарабатывают огромные деньги? Не считая борьбы с ковидом, больше всего денег приносят антидепрессанты и прочие волшебные таблетки, потому что они дорогие и люди на них сидят всю жизнь.

То есть маржинальность на дорогостоящем лекарстве от редкого заболевания может быть гораздо выше, но общий объем прибыли, если говорить про американский рынок, приносят нейролептики, антидепрессанты, средства от шизофрении и прочее.

Потому что жизнь на Западе — большое количество стресса, которое накладывается на определенную политику докторов и компаний. На антидепрессанты подсаживают целые слои населения, например топ-менеджеров, высокотехничных профессионалов в разных областях, профессорско-преподавательский состав в университетах. Этот факт широко не афишируется, но в узких кругах он хорошо известен. Стресс тесно связан с философией успеха. Люди все разные, и для счастья кому-то нужно управлять корпорацией, а кому-то ходить каждый день на пруд с удочкой. У нас тоже сейчас маркетологами транслируется универсальный образ успеха, связанный с дорогой машиной и домом в три этажа. В итоге лично я знаю огромное количество несчастных людей в этих домах. И для многих, к сожалению, все, что остается,— волшебные таблетки.

— То есть стартапам лучше искать молекулу для будущего антидепрессанта?

— Все зависит от того, чего хочет стартап: денег, славы или пользы людям. Если денег — нужно искать молекулы, которые в будущем смогут стать блокбастерами (молекулы приносящие миллиардные прибыли), то есть это заведомо не редкое заболевание. Если люди хотят заявить о себе как о команде, нужно брать социально значимое заболевание, тот же туберкулез. Но если хочется очень больших денег, то, выходит, что не стоит заниматься антибиотиками, потому что они применяются разово и на них зарабатывают гораздо меньше. Этот парадокс каждая команда решает по-своему.

Многие стартапы работают на средства благотворительных организаций и частные деньги. Мы знаем примеры, когда богатые люди после анализа ДНК узнают о рисках какого-то заболевания и вкладывают деньги, чтобы найти лечение от них.

— Как выглядит команда для создания нового лекарства с помощью искусственного интеллекта? Кого там должно быть больше — химиков или математиков?

— Это должна быть междисциплинарная команда натурфилософов нового поколения — программисты, биоинформатики, химики, фармакологи. Универсального подхода к разработке лекарств нет. Когда я 15 лет назад начинал заниматься поиском молекул-кандидатов в Кембридже вместе с такими пионерами направления, как Боби Глен, Джонатан Гудман и Питер Мюррей-Раст, мне было очень интересно наблюдать, как устроена работа в западной фарме. Параллельно существовало два отдела: Сomputational drug discovery, где стояли гудящие шкафы с лампочками и сидели программисты в майках и кедах; во втором работали серьезные люди в костюмах, которые обладали химической интуицией и просто рисовали эти новые структуры на бумаге.

То есть отделы искусственного интеллекта и естественного параллельно решали одну и ту же задачу по поиску кандидата на синтез. Это было удивительно.

— Кто выигрывал?

— Процент успеха был одинаковый. У людей где-то даже получалось получше. Надеюсь, что так будет всегда: искусственный интеллект будет помогать естественному, а не наоборот.

— Правильно я понимаю, что у нас до сих пор нет лекарства, которое было бы целиком сделано искусственным интеллектом?

— Это некорректно поставленный вопрос, потому что на рынке уже есть большое количество препаратов, где на каком-то этапе разработки применялся ИИ. А лекарства, которые были бы полностью созданы искусственным интеллектом, при современной регуляторной системе выпустить невозможно. Вы можете найти молекулу-кандидата, «сварить» ее, полностью автоматизировав органический синтез, а дальше все равно нужны эксперименты и клинические испытания.

Технологически можно уже сейчас сделать таблетку полностью автоматизированно, но законом большинства государств вы не сможете ее предложить человеку. И это очень хорошо.

Например, в некоторых странах разрешено проектировать мосты с помощью лицензированного софта и без испытания начинать его строить. Это возможно, потому что механика — наука старая и точная, а человеческий организм все еще остается неизведанной системой.

— За свою карьеру вы успели поработать в самых разных городах и

сосредоточен ваш основной интерес сегодня?

— Мой основной интерес сейчас связан с развитием научно- технологического университета «Сириус». Это молодой университет, он был создан в 2019 году по поручению президента РФ как значимая часть непрерывной системы поддержки и развития талантов на Федеральной территории «Сириус». Основные направления исследований сосредоточены в области генетики, редактирования генома растений и животных, трансляционной медицины, робототехники, клинической психологии и искусственного интеллекта. Наши студенты вовлечены в прорывные научно-исследовательские проекты и в решение задач, поставленных российской наукоемкой индустрией. Это очень интересный амбициозный экспериментальный проект, который отвечает на многие вызовы современного общества.

Интервью — часть совместного просветительского проекта Сколтеха и «Коммерсантъ Наука» «Разговоры за жизнь»

Беседовала Елена Кудрявцева