Вадим Козюлин — о запрете боевых автономных роботов

Угрозы, которые представляют автономные ударные системы с использованием искусственного интеллекта, можно разделить на три группы. Первая связана с проблемой так называемого значимого человеческого контроля, то есть с рисками, связанными с исключением человека из цикла принятия решения о применении оружия. Представители мировой общественности считают, что выдача машине «лицензии на убийство» станет нарушением прав человека и международного гуманитарного права, этических и моральных принципов. Кроме того, неясно, кто будет отвечать за действия «роботов-убийц» — командир, оператор, программист или производитель?

Именно эту группу угроз и будут рассматривать эксперты на предстоящей конференции в Женеве. Исторически этот форум обычно запрещал определенные виды вооружений: ослепляющие лазеры, боеприпасы с необнаруживаемыми осколками, мины-ловушки, зажигательное оружие. Полным запретом может закончиться и рассмотрение вопроса о боевых автономных роботах. Запрет относительно легко принять, но почти невозможно проконтролировать, поскольку фактически он будет означать табу на создание соответствующего боевого программного обеспечения, а его любая армия хранит за семью печатями.

Более мягкие варианты, такие как политическая декларация государств, производящих боевые дроны, или кодекс поведения при их создании и использовании, могут иметь не меньший, а то и больший эффект в смысле добровольного введения все того же табу на применение боевых автономных роботов.

Вторая группа угроз связана с риском нарушения стратегической стабильности. Автономное оружие делает военных романтиками: они предвкушают очередную революцию в военном деле. Но для международных отношений это означает новую гонку вооружений, соблазны глобального военного доминирования, слом теории сдерживания и международную нестабильность.

Увы, «значимый человеческий контроль» в решении проблемы нисколько не поможет. И если в новом забеге на технологическое военное превосходство не обозначится ушедший в отрыв лидер, то государствам, наверное, однажды придется сесть за стол переговоров и подписать новую версию Договора об обычных вооружениях в Европе либо иное соглашение, устанавливающее баланс автономных вооружений и определенный режим безопасности для участников.

Третья группа угроз пока кажется умозрительной. Главный недостаток человека в сравнении с машиной состоит в том, что он тратит слишком много времени на оценку ситуации и принятие верного решения. По оценкам экспертов, в случае ракетного нападения у лидеров СССР и США оставалось примерно 25 минут для нанесения ответного удара. Появление гиперзвукового оружия сократит это время в четыре раза. С внедрением систем на базе искусственного интеллекта применение оружия будет также автоматизировано и передано на аутсорсинг командно-аналитическим системам с использованием искусственного интеллекта. Можно представить, что однажды в модели взаимодействия «машина—оператор» человеку не будет места, в его распоряжении останется только одна кнопка для одобрения решений, принимаемых машиной.

Человеческая цивилизация стоит перед ящиком Пандоры, попытка открыть который может принести миру неисчислимые страдания. Поэтому самое правильное решение — предупредить такой сценарий.

Вадим Козюлин, директор проекта ПИР-Центра по новым технологиям и международной безопасности