Использование алгоритмов призвано избавить от предвзятости при вынесении решений

В Нью-Йорке возобновляется приостановленный из-за пандемии пилотный проект по использованию искусственного интеллекта (ИИ) в судебной системе. Специально созданный алгоритм оценки рисков выносит рекомендации о желательной мере пресечения для лиц, находящихся под следствием. Власти города надеются, что это сократит нагрузку на местные тюрьмы и позволит избежать предвзятости при вынесении решений о мере пресечения.

После шестимесячного перерыва, вызванного пандемией коронавируса, в Нью-Йорке возобновляется эксперимент по использованию ИИ в судебной системе. Как сообщает The Wall Street Journal, алгоритмы, разработанные на основании обширной базы данных по уже завершенным делам, дают судьям рекомендации: отпустить под залог или заключить под стражу до суда человека, в отношении которого проводятся следственные действия.

В 2014 году новый мэр Нью-Йорка демократ Билл де Блазио пообещал провести масштабные реформы, в том числе в судебной системе, сократив нагрузку на тюрьмы города.

«Там содержалось много людей, очень много людей, которые совершили даже незначительные преступления»,— отмечает в интервью WSJ глава следственного управления Нью-Йорка Элизабет Глейзер.

Одной из причин такой ситуации, по ее мнению, был чрезмерный консерватизм судей.

В рамках реформы в 2017 году следственное управление предоставило двум исследовательским компаниям, работавшим независимо друг от друга, базу данных более чем по 1,6 млн уголовных дел 2009–2015 годов. В этих делах содержалась полная информация не только о людях, находившихся под следствием, их возрасте, поле, месте жительства, расовой, этнической принадлежности и других личных данных, а также о преступлениях, в которых они подозревались. Также о незначительных, казалось бы, деталях, при сопоставлении которых можно было сделать вывод, явится человек на суд или совершит попытку скрыться.

В частности, одной из множества таких деталей исследователи называют — добровольно ли человек сообщал свой домашний телефон и адрес полицейским при задержании.

Те, кто делал это добровольно, чаще являлись в суд самостоятельно, будучи перед этим отпущены под залог.

С другой стороны, исследователи выяснили, что ответы на некоторые другие вопросы, которые полицейские и следователи традиционно задают подозреваемым, никак не говорят, явится ли человек на суд или нет. Одним из таких вопросов стал «Подозреваете ли вы кого-то другого в совершении преступления?». В результате анализа сотен тысяч дел две исследовательские фирмы независимо друг от друга создали несколько десятков моделей поведения. После этого они начали совместную работу, в ходе которой исключили большую часть моделей поведения, оставив в основном только те совпавшие модели, к которым они ранее пришли самостоятельно.

В итоге была разработана система, отчасти похожая на рейтинг оценки кредитоспособности физических лиц, уже давно используемый в США. По первоначальным оценкам разработчиков системы, она должна была существенно сократить предвзятость судей при принятии решений в зависимости от расовой и этнической принадлежности подследственных. Если предыдущие пилотные проекты, разрабатывавшиеся до 2013 года, рекомендовали отпускать под залог 30,8% чернокожих и почти 40% белых, то новая система — 86,7% чернокожих, 89,7% белых и 90,7% латиноамериканцев. На практике оказалось, что новая ИИ-система еще более индифферентна в расовом отношении: с ноября прошлого года, когда она была запущена, и до марта этого года, когда работа судов была приостановлена из-за пандемии, она вынесла рекомендации об освобождении под залог в отношении 83,9% чернокожих, 83,5% белых и 85,8% латиноамериканцев.

Оказалось, что люди с более высоким «кредитным рейтингом» действительно намного чаще являются в суд, выполняя условия своего освобождения под залог.

К пилотному проекту по использованию ИИ в судебной системе Нью-Йорка приковано большое внимание еще и потому, что ранее в США уже несколько раз предпринимались попытки использовать похожие системы — и их результаты оказались неоднозначными. В 2014 году в соседнем штате Нью-Джерси был запущен пилотный проект, благодаря которому нагрузка на тюрьмы действительно сократилась почти наполовину. Однако проблему расового неравенства эта система не смогла решить: как и раньше, меру пресечения в виде заключения под стражу в отношении чернокожих применяли заметно чаще, чем в отношении белых (50% против 30% соответственно).

В июле прошлого года 27 ученых и исследователей из ведущих американских университетов, в том числе Гарварда, Принстона, Колумбийского университета и Массачусетского технологического института, опубликовали открытое письмо, в котором выразили «серьезные опасения» в связи с неточностями, которые могут лежать в основе алгоритмов, используемых для оценки рисков в отношении того или иного подследственного.

Ученые заявили, что при разработке таких алгоритмов анализируются архивные данные о подозреваемых, подследственных, подсудимых и осужденных.

«Однако эти данные не являются надежным или нейтральным способом оценки возможного преступного поведения. Целые десятилетия исследований показали, что за одни и те же деяния афроамериканцев или латиноамериканцев арестовывали, осуждали или давали более строгие приговоры чаще, чем белым. Таким образом, алгоритмы оценки рисков, которые содержат в себе анализ исторических данных с изначально искаженным отношением, будут выдавать такие же искаженные результаты. Эта проблема (расового неравенства при вынесении решений о мере пресечения.— “Ъ”) не может быть решена чисто техническими средствами. Мы настоятельно рекомендуем обратиться к реформам другого рода для решения этой проблемы»,— заявили ученые.

Уже в начале этого года один из инициаторов проекта в Нью-Джерси неправительственная организация Pretrial Justice Institute выпустила заявление, в котором публично признала свои ошибки и сочла свои предыдущие прогнозы в отношении алгоритмической оценки неточными. «Теперь мы понимаем, что технические способы досудебной оценки рисков не могут быть гарантированным инструментом принятия равноправных решений. Вне зависимости от технологии или конкретного производителя системы анализ зиждется на исторических данных, в которых уже отражаются расизм и институциональное неравенство, влияющее на наши суды и правоохранительную систему. Использование таких данных лишь усугубляет проблему неравенства»,— считает организация.

Евгений Хвостик