Социологи из Принстонского университета провели эксперимент, призванный оценить эффективность применения искусственного интеллекта (ИИ) и машинного обучения для предиктивного анализа данных (прогнозирования будущего поведения) в отношении людей. Выяснилось, что точность предсказаний ИИ не дотягивает и до 25%.
Фото: Aly Song / Reuters
Фото: Aly Song / Reuters
Результаты исследования ученых из Принстонского университета были опубликованы в научном журнале Национальной академии наук США (PNAS). Исследователи хотели понять, насколько точными могут быть результаты применения ИИ и машинного обучения при анализе данных об условиях жизни конкретных людей с тем, чтобы спрогнозировать, как их жизнь будет развиваться в будущем. Также они хотели выяснить возможное попадание этих людей в группы риска, например в преступную среду. Отмечается, что некоторые социологи уже используют подобный предиктивный анализ данных при помощи ИИ.
Чтобы понять, насколько ИИ научился «предсказывать жизнь» людей, ученые из Принстона использовали помощь примерно 160 исследователей из разных стран. Они пытались спрогнозировать несколько вариантов будущего для членов около 4 тыс. семей на основании анализа примерно 13 тыс. условий их жизни и всевозможных факторов: уровня достатка, доступности образования и работы, размера семьи, психологических особенностей членов семьи, отношений между ними, экономической и политической ситуации и т. п. Эти данные были взяты из многолетней работы одного из авторов исследования, социолога Принстонского университета Сары Макланахан.
На протяжении 15 лет она исследовала жизни семей в США — от начала совместной жизни супругов, рождения детей до начала их учебы, карьеры их родителей, уровня материального положения и т. д. Исследование было начато в 2000 году и прослеживало все этапы жизни членов исследуемых семей. Принстонские ученые предоставили социологам, использующим предиктивные модели поведения людей при помощи ИИ, максимально полный набор факторов жизни этих семей, чтобы при помощи анализа этих данных ИИ смог предсказать, как повернулась жизнь членов этих семей.
Выяснилось, что, даже обладая обширными данными, предиктивный анализ ИИ дает невысокие результаты точности. Это, в частности, относилось к предсказанию изменения материального положения семьи, карьеры родителей, успеваемости детей в школе и т. п.
Максимальная точность прогнозов составила 23% применительно к такому фактору, как «материальные невзгоды» того или иного субъекта исследования, и 19% применительно к успеваемости в учебном заведении.
Минимальная точность — 3%, когда речь шла о прогнозе увольнения с работы человека, или 5% — о вероятности выселения семьи из жилья за неуплату или другие нарушения.
«Возможно, когда речь идет об абстрактных выводах, предсказания могут звучать неплохо»,— заявила в интервью MIT Technology Review Элис Сянь, представительница неправительственной ассоциации Partnership on AI, изучающей проблемы использования и практического применения ИИ. По ее словам, даже самые высокие результаты предиктивного анализа в юридической системе, который, например, прогнозирует вероятность совершения человеком повторного преступления, дают точность не более 60–70%. При этом фактически нередко бывает так, что повторные преступления такой анализ предсказывает лишь в 40% случаев.
Авторы исследования признают, что для более точных предсказаний, возможно, требуется больший масштаб данных и вводных об условиях жизни человека.
Однако они предостерегают власти от того, чтобы чрезмерно полагаться на результаты такого анализа даже с использованием большего массива данных.
«Обладание большим объемом данных и более совершенными способами машинного обучения и ИИ не гарантирует точность предсказаний,— считает один из авторов исследования Мэтью Салганик.— При этом у политиков или должностных лиц, которые не имеют большого опыта в работе с ИИ в этой области, могут быть завышенные нереалистичные ожидания от использования подобных систем анализа».