«У нас с машиной симбиоз»

Искусственный интеллект дает рекомендации врачам и экстренным службам, упрощает расчеты ученых и работу инженеров, используется в отраслях от нефтедобычи до сельского хозяйства, но устойчивый симбиоз с машиной требует понимания как сильных и слабых сторон ИИ, так и психологии человеческого восприятия. Иначе мы рискуем стать жертвой предубеждения или, наоборот, передоверить компьютеру эмоциональный контакт.

Профессор Центра ИИ «Сколтеха», заведующий лабораторией в области доверенного искусственного интеллекта Иван Тюкин рассказал «Ъ-Науке», что такое доверенный искусственный интеллект, как машины получают и теряют доверие людей и помогут ли с этим федеративное обучение и конституция для ИИ, когда техническая эффективность вступает в противоречие с прозрачностью, а пользователи передают ИИ грязную работу и одновременно рискуют угодить в зависимые отношения с чат-ботом.

— Доверенный, доверительный, заслуживающий доверия искусственный интеллект — как правильно называется ваша область?

— Доверенный. То есть тот, которому мы можем доверять.

— Если опросить потребителей, доверяют ли они, скажем, онлайн-маркетплейсу, кто-то подумает про доставку в срок и политику возврата, кто-то — про условия труда, кто-то — про соблюдение законодательства. А как с искусственным интеллектом?

— О доверенном ИИ тоже можно говорить в разных аспектах. Во-первых, техническая доверенность. Вы купили вещь, и на коробке написано, что она должна делать и в каких условиях. Искусственный интеллект должен выполнять заявленную задачу с определенной вероятностью в оговоренных ситуациях.

Второе: можно ли доверять данным или критериям, которые написаны на коробке? Если создатели ИИ, сами того не зная, использовали данные, которые не следовало использовать, то алгоритм может оказаться предвзятым.

Был случай в США в 2023 году. Разработали систему автоматизации принятия решений по выплате компенсации людям, попавшим в больницу. Пациента госпитализируют с болезнью A, и для нее предусмотрена компенсация определенного числа дней пребывания в больнице. Страховая оплачивает эти дни, но не более. Систему внедрили, люди стали жаловаться: недооценивает. Лежишь в больнице две недели, а страховая оплачивает только неделю. Инженеры плохие? Нет. Оказалось, что данные для настройки системы собирались по результатам выплат страховых компаний, у которых цель — минимизировать выплаты. Эти данные сами по себе занижают время пребывания в больнице. Это пример предвзятого алгоритма. Даже если инженерам была поставлена правильная задача и они вели себя этически безупречно, такую предвзятость они не могли увидеть.

— А на «коробке» достаточно пишут?

— Типичный случай: на коробке написано слово, которое все понимают по-разному. Считай, ничего не написано. Точность. Если у ИИ для диагностики заболеваний заявлена точность 99%, что за этим стоит? Ведь он может точно диагностировать, что здоровый человек здоров или что больной болен. Нас интересует и то и то. Но здоровых людей всегда больше, и если тестировать население на наличие болезни X, то в 99% случаев у человека не будет этого заболевания. В этом смысле любая система, которая всегда говорит «здоров», будет очень точной. Она права в 99% случаев, но не с точки зрения больного. Понятие точности не строго определено.

— Меддиагностика — это пример области, в которой непросто довериться ИИ. Наверное, когда авиакомпании демонстрируют энтузиазм по поводу ИИ, у пассажиров это тоже вызывает опасения?

— Именно так. И здесь мы заходим в третью размерность доверия. Результат может технически соответствовать ожиданиям, а данные могут быть надежны и адекватны. Но остается вопрос восприятия: в состоянии ли мы принять, что критические элементы нашей жизни будут регулироваться машиной, а не человеком?

На Конгрессе по автоматическому управлению в Тулузе представитель компании Airbus выступал с пленарным докладом, и его спросили про автопилоты — это старая история, конгресс был в 2017 году. Он сказал: «Господа, мы с вами обсуждаем, доверять или нет, но, чтобы вы знали, вы все уже 30 лет летаете на роботах. Человек в кабине пилота был бы не нужен, если бы большинство из вас не хотело видеть там человека».

Это такое противоречие между техническими возможностями и психологией восприятия. Робот может управлять самолетом лучше, чем человек, но мы все равно хотим, чтобы был пилот: если что-то пойдет не так, мы хотим, чтобы кто-то понес ответственность.

— Человек может попросить прощения. И его можно наказать. А как восстановить нарушенное доверие к ИИ?

— Пока нет ответа на вопрос, кто будет отвечать за ошибку, которая происходит, например, из плохих данных, как в случае с заниженной компенсацией от страховой? Там не было ни злого умысла, ни ошибок программистов. Просто объективная реальность, доступная нам через данные, оказалась в них искажена. Поэтому мы хотим человека, чтобы сказать ему: «Вы приняли решение, не проанализировав риски. Значит, вы виноваты».

— Раз мы ждем от человека не выполнения технической функции, а надзора и ответственности, нельзя ли его вынести за рамки процесса и включить вместо этого в специальную комиссию?

— Для управления рисками в ИИ-проектах должен быть аналог этического комитета, который рассмотрит конкретную задачу. Сама задача заслуживает доверия? Как мы будем ее решать? Согласно нормам доверия, как люди бы это делали без привлечения искусственного интеллекта. Какую информацию мы будем использовать для решения? Такой комитет решал бы проблему доверия. Причем нужны механизмы представления в нем потребителей, получения от них обратной связи.

— Бывает, что человеку доверяешь в деньгах, но не доверяешь ему свои секреты, например. С искусственным интеллектом тоже так? Как на ваше доверие влияет ваша работа с ИИ?

— Когда хорошо понимаешь все недостатки, это позволяет тебе доверять ИИ-решениям в той мере, чтобы делегировать им часть работы, а потом исправить, одобрить и использовать результат — например, машинный перевод текста. В результате у нас с машиной получается симбиоз. Зная недостатки машины, я делегирую ей всю грязную работу, включая набор слов на клавиатуре. Это случай доверенного использования, когда я прекрасно понимаю недостатки машины, но они не являются для меня блоком, не дающим использовать инструмент. В этом один из возможных ответов на вопрос о доверии: оно возможно тогда, когда мы хорошо понимаем сильные и слабые стороны.

Достоинство ИИ в том, что при помощи него мы можем очень быстро прорабатывать большое количество вопросов. Но помним, что данные в основе ИИ-решения могут оказаться не вполне адекватны вопросу. И на достаточно длинном промежутке времени закономерно ожидать неправильного ответа. Просто производитель должен дать вероятностную гарантию и оговорить, что понимается под точностью. Доверять ИИ на 100% мы не будем, но мы будем его использовать, чтобы ориентироваться в море информации и отфильтровывать неправильные решения.

— Что должно произойти, чтобы повысить лично ваше доверие к ИИ?

— Есть специальные языки, которые используются для формализации доказательства теорем и подобных вещей, и есть средства, которые позволяют проверять корректность высказываний на этих языках. Как только мы получим машину, которая формулирует и переводит задачи на такой формализованный язык, эта система получит мое полное доверие. Конечно, белые пятна останутся и в таких системах, ведь тезис Геделя о неполноте будет применим и к ним. Но по меньшей мере мы всегда будем в состоянии проследить и проверить этапы решений ИИ.

— В разных странах по-разному доверяют ИИ? В Японии, например?

— Япония — особенная страна, где вообще распространены роботизированные помощники и животные. Люди прекрасно понимают, что это не живые существа, а роботы, но предпочитают с ними социализироваться. Наверное, это закрывает какую-то нереализованную потребность в обществе.

Если у меня есть потребность и иное решение задачи мне недоступно, конечно, я буду использовать доступное решение, понимая все его недостатки. Человек адаптирует свое доверие к технологической системе, потому что она удовлетворяет его потребность.

— Можно угодить в зависимость. Если пойти на шаг дальше — есть же компании, продающие персонализированных чат-ботов, которые вступают в романтическую переписку с пользователями, и эти боты для виртуальных свиданий уже умеют генерировать свои фото и голосовые сообщения, а скоро научатся генерировать и видео. Страшновато.

— Здесь мы выходим за рамки доверия отдельного человека. Можно посмотреть на ситуацию с позиции общества в целом. С точки зрения морально-этических принципов, лежащих в основе некоторого общества, заслуживает ли доверия такое использование искусственного интеллекта? Даже если условный этический отдел компании утвердил этого бота и следит за тем, на какие темы он может говорить, а на какие — нет. То есть можно рассматривать доверие в разрезе того, кто доверяет.

— А кто должен доверять?

— Пользователь, потому что он двигатель развития. Чтобы возник рынок, пользователь должен этого хотеть. Если он не доверяет, он не будет пользоваться.

Но нужно и доверие на уровне общества — в том смысле, что использование инструмента является благом. Есть мнение, что развитие чат-ботов может атрофировать способность людей устанавливать и поддерживать эмоциональный контакт. Для общества это плохо. Глазами индивида, который решает свою задачу, которая была для него недоступной, это хорошо.

Возникает вопрос о регуляторе, который бы прогнозировал последствия и направлял процесс с учетом стратегических целей общества. Регулятор вмешается в тех случаях, когда производитель и потребитель доверяют друг другу, но использование продукта может быть вредно. По той же логике контролируют обращение оружия или контент для взрослых.

— «Делая ИИ более доверенным, мы вынуждены делать его менее эффективным» — сколько в этом утверждении правды?

— Может оказаться так, что достижение технической доверенности (той самой эффективности) вступает в конфликт с морально-этическими установками общества. Допустим, ИИ помогает полицейским ловить преступников и использует при этом данные, в которых отражены пол, возраст и т. д. С технической точки зрения эта система может заслуживать большого доверия: она заточена на эффективность и по максимуму использует всю доступную статистику. Но она будет дискриминировать те или иные социальные группы, и это может рушить другой аспект доверия.

— Если пользователи понимают, почему система дает прогноз X или рекомендацию Y, они будут ей больше доверять. На этом построена концепция объяснимого искусственного интеллекта. Но доступно ли это понимание потребителю?

— А какой процент потребителей понимает, как устроен двигатель внутреннего сгорания и что такое цикл Карно? Но все пользуются автомобилями. Пока пользователь удовлетворен инструментом, этот вопрос актуален лишь для особого круга задач: он приобретает принципиальную важность, когда мы говорим о решениях, оказывающих существенное влияние на жизнь людей: выдача кредитов, прием ребенка в школу, медицина.

Допустим, машина говорит, что у пациента найден рак на последней стадии и жить ему осталось недолго, а потом оказывается, что это не так. Пациент имеет право знать, какие именно признаки лежали в основе диагноза. Или если ИИ будут задействовать при принятии решения об отключении пациента от аппарата искусственного жизнеобеспечения — в таких случаях мы хотим абсолютной прозрачности.

— Все-таки про двигатель хотя бы сами инженеры хорошо понимают, как он устроен. А как довериться алгоритмам машинного обучения, логика которых не вполне прозрачна даже для их создателей?

— Классическая наука заслужила наше доверие, пройдя проверку временем. Люди научились доверять прогнозам, основанным на математике и законах физики.

Многие алгоритмы ИИ основаны на эмпирических данных. Предлагаемые таким ИИ решения могут не иметь причинно-следственной структуры. Допустим, мы обучаем систему распознавать кошек. Мы не объясняем ей устройство кошек: глаза, лапы, хвосты. Раньше нечто подобное было, но сейчас мы только показываем картинки, и машина должна сама сообразить, какие у кошек признаки. Раньше система могла дать обоснование: скорее всего, это кошка, потому что… Теперь это не всегда так, а зачастую этого и вовсе не требуют от разработчиков на этапе постановки задачи. Отстранив человека от формулирования признаков, мы повысили эффективность, но потеряли прозрачность.

Чтобы повысить объяснимость, нужно прикладывать дополнительные усилия.

— А как это можно сделать? Заставить бота цитировать источники?

— Можно проверять корреляцию выдачи с базой знаний, с фактами. Еще можно написать для ИИ «конституцию». Например, запретить модели высказываться на некоторые темы. И то и другое повышает доверие. Фактчекинг и тематический фильтр подключаются на финальной стадии, чтобы модифицировать готовый результат,— это один из выходов, чтобы не пожертвовать технической эффективностью ради других аспектов доверия.

— Что такое федеративное обучение? Я слышал, что это попытка усилить доверие за счет защиты конфиденциальных данных?

— Допустим, вы представляете один банк, а я — другой. Нас обоих интересует задача поиска мошенников. У вас есть данные по своим клиентам, у меня — по моим. Делиться ими никто не хочет. Мы можем построить общую систему, которая будет обучаться и на ваших, и на моих данных, но всех данных в целости она не увидит, обмениваться данными мы не будем. В итоге никто не нарушит обязательств по неразглашению, а система сможет ловить нарушителей с характеристиками и из ваших, и из моих данных.

— Ваша лаборатория надежного, адаптивного и доверительного искусственного интеллекта в «Сколтехе» занимается этим направлением?

— Мы занимаемся другими, например гарантированной коррекцией ошибок. Нужно принять, что даже при соблюдении всех правил, норм и регламентов ошибки и неприятности будут происходить. В доверенной системе пользователь видит проблему, сразу дает обратную связь, и мы как разработчики отвечаем: этот вопрос можно решить прямо сейчас без перенастройки системы с такими-то гарантиями, не испортив другие характеристики системы.

Отдельно стоит фундаментальный вопрос: какие показатели мы в принципе можем гарантировать, а какие невозможно достоверно оценить в рамках поставленной задачи или процесса создания ИИ? Если оценки достоверности возможны, то сколько это может стоить?

Еще одно направление — построение системы, которая могла бы не просто сформулировать ответ на ваш запрос, но и выразить его на формальном языке, корректность и непротиворечивость утверждений на котором можно формально проверить.

Третье — доверенное решение сложных уравнений. Например, в моделировании процессов для прогноза погоды. Такие задачи в принципе решаются, но требуют огромных вычислительных ресурсов. Возникают вопросы: во-первых, как решать такие уравнения быстрее; во-вторых, если мы построим быстрый ИИ-решатель, можем ли мы ему доверять? Старой системе мы доверяем, но она медленная. Новая работает быстро, но нужно получить гарантию точности.

— В материаловедении похожая ситуация, когда вместо сложных квантово-механических расчетов используют машинно-обучаемые потенциалы взаимодействия между атомами вещества, да?

— Да, это тоже оно. И здесь важна техническая доверенность: нужно проверять, можно ли положиться на прогноз такой системы.

Наконец, четвертое направление — нейроморфные вычисления. Большие языковые модели повышают энергопотребление дата-центров. В компактных системах, которые устанавливают на роботов, тоже используются энергоемкие графические процессоры. Иногда функцию этого графического процессора можно реализовать очень дешевым аналоговым способом. И если так, то почему бы этого не сделать?

Допустим, в автомобиле есть система, которая распознает дорожную разметку. Сейчас для этого используются обычные компьютеры, но можно эту задачу решить нейроморфной системой на аналоговом устройстве.

Проблема в том, что аналоговые устройства привносят нестабильность в силу технологического процесса их создания. Цифры при переходе из одного компьютера в другой или при повышении температуры не меняются. А каждое аналоговое устройство уникально в силу технологических процессов. Поэтому совершенно необходимо добиваться стабильности и устойчивости их работы.

Николай Посунько