Искусственный интеллект под реальной угрозой
Спрос на специалистов по безопасности ИИ за год вырос более чем в пять раз
Повсеместное внедрение искусственного интеллекта (ИИ) в бизнес-процессы бросает новые вызовы рынку. Так, уже растет спрос на услуги специалистов по кибербезопасности в области ИИ (MLSecOps). По подсчетам аналитиков платформы hh.ru, в 2024 году количество вакансий разработчиков и аналитиков, связанных с защитой ИИ-решений, увеличилось в пять раз. И эксперты предсказывают, что потребность в таких специалистах будет только расти.
Фото: Анатолий Жданов, Коммерсантъ
Фото: Анатолий Жданов, Коммерсантъ
Специалисты в области защиты искусственного интеллекта стали одними из самых редких и востребованных на рынке IT, подсчитали аналитики платформы HeadHunter (hh.ru). Так, в 2024 году вакансий разработчиков, связанных с кибербезопасностью в области ИИ, аналитики насчитали 878, тогда как в 2023-м их было всего 154. Спрос на функционал, связанный с работой в сфере MLSecOps, за год вырос почти в 5,5 раза.
Аналогичная ситуация с вакансиями аналитиков в области безопасности ИИ: по данным hh.ru, их стало больше в пять раз (555 в 2024-м против 107 в 2023-м). Что же касается разработчиков в области ИИ в целом, спрос на них даже немного снизился: в 2024 году было открыто 483 вакансии, на 14% меньше, чем в 2023-м. В 2024-м самая высокая предлагаемая зарплата специалистов, связанных с ИИ, была на уровне $10 тыс.
По версии консалтинговой компании Gartner, к будущему году ИИ будет использован в разработке 70% мобильных версий IT-продуктов, и задачи по поддержанию целостности ИИ, обеспечению конфиденциальности его моделей и используемых в нем данных будут становиться все более актуальными, отмечает заведующий кафедрой «Теория вероятностей и прикладная математика» факультета «Кибернетика и информационная безопасность» МТУСИ Константин Панков.
Уязвимый интеллект
Потребность в продвинутых дата-аналитиках с функциями LLM Security будет расти в ближайшие годы, прогнозирует директор по талантам ГК Swordfish Security Дарья Фигуркина. По ее словам, компании-новаторы в том или ином формате уже активно применяют большие языковые модели в работе, но массово вопрос кибербезопасности ИИ встанет позже. «Безопасность всегда следует рука об руку с разработкой, поэтому в ближайшие два-три года мы ожидаем роста запросов на создание центров компетенций по LLM Security (MLSecOps) для коммерческих компаний»,— говорит она.
Без специалистов MLSecOps компании рискуют столкнуться с утечками данных, что ведет к судебным искам и потере клиентов, считают отраслевые эксперты: наличие в штате сотрудников, занимающихся защитой ИИ-решений, снижает вероятность эксплуатации уязвимостей. «В долгосрочной перспективе это обеспечивает конкурентное преимущество на рынке, где 51% организаций считают кибербезопасность главным риском ИИ»,— отмечает руководитель отдела исследований в области ИИ Университета 2035 Ярослав Селиверстов.
В отрасли ИИ устоялось направление исследований и практики Аdversarial Machine Learning («Состязательное машинное обучение»), рассказывает руководитель отдела Data Science Hybe Алексей Калабурдин. Энтузиасты учатся атаковать алгоритмы машинного обучения, например заставляют алгоритмы кредитного скоринга клиентов банка выдать кредит неблагонадежному заемщику, который по идее банк выдавать не должен. «Атаки на большие языковые модели могут привести к полной компрометации модели согласно традиционным принципам кибербезопасности. В частности, возможны удаленное управление моделью, кража данных и потеря ее работоспособности»,— отмечает эксперт.
Кроме того, продвинутые системы ИИ добавляют новые уровни угроз, продолжает господин Калабурдин. Их возможности адаптироваться к минимальным инструкциям и автономно выполнять указания злоумышленников (в том числе писать вредоносный код и т. д.), по его словам, делают их мощным инструментом для распространения дезинформации и манипулирования пользователями и интегрированными сервисами.
В качестве методов атаки на LLM злоумышленники, в частности, используют метод, при котором с помощью прямого взаимодействия с моделью им удается обойти ограничения на генерацию контента или получить доступ к исходным инструкциям модели, говорит Алексей Калабурдин. Другими уязвимостями LLM-специалисты называют Best-of-N Jailbreaking (взлом через подбор аугментаций запрещенных запросов), Data Poisoning (отравление данных), Modeling Poisoning (отравление модели) и кража модели путем обратного инжиниринга.
На страже развивающегося разума
Специалисты MLSecOps занимаются изучением вопросов безопасности больших языковых моделей, включая поиск уязвимостей, разработку алгоритмов и механизмов для защиты LLM, контроль и фильтрацию ответов модели для предотвращения утечек данных, аудит и мониторинг безопасности работы моделей, объясняет заместитель директора центра компетенции НТИ «Технологии доверенного взаимодействия» на базе ТУСУР Руслан Пермяков.
Базовые навыки (например, защита от Prompt Injection — уязвимости, при которой злоумышленники создают входные данные для вызова непреднамеренного поведения моделей машинного обучения) можно освоить за три-шесть месяцев интенсивных курсов, говорят эксперты. Для углубленной экспертизы требуется год-два, включая практику в реальных проектах, оценивает Ярослав Селиверстов. «При этом из-за скорости развития направления обучение становится непрерывным: специалисты ежегодно обновляют знания через вебинары и опубликованные научные исследования. Например, arXiv»,— добавляет он.
В существующих российских вузах только начали появляться отдельные курсы по данной тематике, напоминает Константин Панков. К примеру, в Высшей школе экономики на бакалаврской программе «Прикладная математика и информатика» читается курс безопасности для систем, основанных на LLM. В прошлом году в ИТМО запустили лабораторию по подготовке специалистов в сфере безопасности ИИ. В МТУСИ в настоящее время готовятся специалисты, профиль которых связан как с анализом данных, в том числе с использованием LLM, так и их защитой, в том числе криптографическими методами, отмечает господин Панков.
Таким образом, комплексность знаний, необходимых для освоения профессии, и новизна самого подхода создают как дефицит специалистов, так и дефицит методов для их подготовки. Третьим фактором руководитель службы управления персоналом компании «Газинформсервис» Анна Прабарщук называет образовавшуюся конкуренцию буквально за каждого специалиста MLSecOps: «Это приводит к завышению зарплатных предложений, что иногда может оказаться вне финансовой целесообразности для отдельно взятых компаний». С другой стороны, добавляет она, многим компаниям трудно понять, какие именно навыки и знания необходимы для этой роли, что также затрудняет процесс найма.
Тем не менее, по оценкам экспертов Swordfish Security, не менее 40% крупных компаний в России так или иначе внедряют ИИ в бизнес-процессы. Большие языковые модели используют для анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов, написания кода для ПО. А значит, потребность в специалистах, которые сумеют обеспечить безопасность использования ИИ, будет расти.