Компания Amazon разработала предохранитель от сбоев в работе ИИ
Американская корпорация Amazon на конференции Re:Invent 2024 представила систему Automated Reasoning, предназначенную для борьбы со сбоями в моделях искусственного интеллекта (ИИ), из-за которых они дают неправильные ответы. Такие ошибки чаще всего возникают из-за огромного массива данных, на которых обучались нейросети, и могут привести к финансовым потерям и создать угрозу безопасности.
Разработчики системы считают, что благодаря Automated Reasoning число опасных ошибок сократится. В Amazon заявляют, что новый продукт станет «первой и единственной защитой генеративного ИИ и предотвратит фактические ошибки из-за галлюцинаций нейросети». Automated Reasoning сверяет генерируемые ответы с предоставленной пользователем информацией — если они не совпадают в точности, то сообщение возвращается для проверки.