Исследователи выявили четыре способа взлома ИИ-агентов за десять дней

Четыре независимые исследовательские команды за десять дней продемонстрировали разные способы атак на ИИ-агентов. Главная опасность связана не только с работой самих нейросетей, но и с доступом, который им предоставляют к электронной почте, документам, памяти и внешним сервисам. Об этом пишет технологическое издание The Next Web.

В одном из исследований специалисты показали, что вредоносное расширение для браузера может подделать нажатие пользователя и заставить ИИ-помощника читать письма в Gmail, документы и записи календаря.

Особенно опасной такая уязвимость становится при включённом режиме, в котором агенту разрешено выполнять действия без дополнительного подтверждения.

Другая команда выяснила, что специально составленное письмо способно внедрить ложную информацию в долговременную память ИИ. В дальнейшем агент может использовать эти инструкции в новых разговорах, не предупреждая пользователя о том, откуда они появились. В ходе эксперимента вредоносные указания сохранялись в памяти более чем в половине случаев.

Ещё один эксперимент показал, что злоумышленники могут относительно дёшево внедрить скрытую уязвимость непосредственно в открытую ИИ-модель. Для этого исследователям потребовались десять изменённых примеров для обучения, около часа работы и менее 75 фунтов.

После вмешательства модель продолжала нормально работать, но создавала программный код со скрытой уязвимостью.

Отдельная проблема связана с коннекторами, через которые ИИ подключается к Gmail, Slack, Dropbox и другим платформам. Исследователи обнаружили, что набор доступных агентам функций постоянно меняется.

Пользователь может предоставить разрешение одному набору действий, а через некоторое время сервис получит дополнительные возможности, включая удаление или передачу данных.

Специалисты предлагают проверять каждое действие агента, фиксировать происхождение информации, запрашивать подтверждение перед сохранением данных в память и ограничивать доступ к внешним сервисам. Однако такие меры могут снизить скорость работы ИИ-помощников, которая считается одним из их главных преимуществ.

Ранее сбой ChatGPT затронул 70 тыс. пользователей по всему миру. Подробнее об этом читайте в материале Общественной службы новостей.