В июле 2024 года международное аналитическое агентство IDC опубликовало исследование об основных рисках генеративного искусственного интеллекта. Эксперты отмечают, что подобные технологии находят применение в маркетинге, управлении цепочками поставок, ритейле, анализе медицинских данных, генерации программного кода и других направлениях. Более 45% генеральных директоров и 66% IT-директоров считают, что вендоры не полностью осознают риски, связанные с генеративным ИИ. Особого внимания требуют вопросы, связанные с конфиденциальностью, защитой информации и безопасностью, а также защищенностью дата-сетов, использующихся для обучения нейросетей.

Руководитель R&D-лаборатории Центра технологий кибербезопасности ГК «Солар» Максим Бузинов рассказал, какие требования к прозрачности, аспектам ответственности и митигации рисков, связанных с ИИ, компания учитывает в разработке ИБ-решений.

В первую очередь это валидность данных и фактор субъективности. Второй аспект — синхронизация работы с данными между data-сайентистами и разработчиками, которые изначально ориентируются на различные характеристики дата-сетов: точность модели для первых и метрики производительности, масштабируемости для IT-специалистов. Поэтому компания разрабатывает методологию автоматического тестирования продуктов на базе ИИ, чтобы снизить риски уязвимостей в готовых решениях и обеспечить прозрачность и подотчетность ИИ-модулей ПО.

Эксперт отмечает, что высокие риски также связаны с конфиденциальностью дата-сетов и данных, которые могут содержать вредоносные компоненты. Поэтому в рамках R&D-лаборатории формируется отдельная инфраструктура для проверки ИБ-решений на базе ИИ для проверки надежности и отказоустойчивости при различных сценариях эксплуатации.

Не менее важны, по оценке Максима Бузинова, критерии объясняемости и интепретируемости решений на базе ИИ, особенно в медицинских диагностических решениях, а также учет уязвимостей больших языковых моделей.

«Например, злоумышленники могут использовать механизмы подсказок-инструкций для модели (promt) для реализации jailbreaking-инъекций. Они могут “сбивать с толку” модель, а также использоваться для получения чувствительной информации. Если выходной результат LLM не проверяется на безопасность, злоумышленник может подложить свой специальный prompt, чтобы LLM сгенерировала вредоносный код, который приводит к потере учетных данных»,— дополняет эксперт.

Наряду с актуальными исследованиями в сфере ИИ R&D-лаборатория ГК «Солар» также находится в диалоге с крупнейшими вендорами рынка ИБ и ведущими научными сообществами по основным направлениям регулирования ИИ. В фокусе внимания — рискориентированный подход, ответственность, безопасная работа с данными, непричинение вреда, добровольная сертификация и соответствие положениям Кодекса этики ИИ и др. Кроме того, компания проводит стажерские программы по машинному обучению и ИИ в области анализа данных и математического моделирования, в том числе в партнерстве с МГТУ им. Н. Э. Баумана.

Подробнее.

ООО «РТК ИБ»

Реклама