Изображение сгенерировано нейросетью Шедеврум
Четыре независимые исследовательские команды за десять дней продемонстрировали разные способы атак на ИИ-агентов. Главная опасность связана не только с работой самих нейросетей, но и с доступом, который им предоставляют к электронной почте, документам, памяти и внешним сервисам. Об этом пишет технологическое издание The Next Web.
В одном из исследований специалисты показали, что вредоносное расширение для браузера может подделать нажатие пользователя и заставить ИИ-помощника читать письма в Gmail, документы и записи календаря.
Особенно опасной такая уязвимость становится при включённом режиме, в котором агенту разрешено выполнять действия без дополнительного подтверждения.
Другая команда выяснила, что специально составленное письмо способно внедрить ложную информацию в долговременную память ИИ. В дальнейшем агент может использовать эти инструкции в новых разговорах, не предупреждая пользователя о том, откуда они появились. В ходе эксперимента вредоносные указания сохранялись в памяти более чем в половине случаев.
Ещё один эксперимент показал, что злоумышленники могут относительно дёшево внедрить скрытую уязвимость непосредственно в открытую ИИ-модель. Для этого исследователям потребовались десять изменённых примеров для обучения, около часа работы и менее 75 фунтов.
После вмешательства модель продолжала нормально работать, но создавала программный код со скрытой уязвимостью.
Отдельная проблема связана с коннекторами, через которые ИИ подключается к Gmail, Slack, Dropbox и другим платформам. Исследователи обнаружили, что набор доступных агентам функций постоянно меняется.
Пользователь может предоставить разрешение одному набору действий, а через некоторое время сервис получит дополнительные возможности, включая удаление или передачу данных.
Специалисты предлагают проверять каждое действие агента, фиксировать происхождение информации, запрашивать подтверждение перед сохранением данных в память и ограничивать доступ к внешним сервисам. Однако такие меры могут снизить скорость работы ИИ-помощников, которая считается одним из их главных преимуществ.
Ранее сбой ChatGPT затронул 70 тыс. пользователей по всему миру. Подробнее об этом читайте в материале Общественной службы новостей.
Разрыв в уровне заработных плат между регионами России достиг рекордной отметки. По информации Росстата, которую обнародовала газета «Известия», разница составила 203 тысячи рублей. За прошедший год этот показатель вырос на…
92-летняя мать знаменитого музыканта Игоря Крутого, Светлана Крутая, приобрела трехкомнатную квартиру в Майами за символическую сумму в 100 долларов. Сделку осуществила ее дочь, 66-летняя Алла Баратта, с целью снизить налоговые…
Сонный паралич возникает из-за временного нарушения перехода между фазами сна и бодрствования, когда сознание уже проснулось, а мышцы еще остаются расслабленными. Об этом ТАСС рассказала кандидат медицинских наук, заведующая взрослым…
Союз производителей биологически активных добавок к пище (БАД) направил обращение премьер-министру РФ Михаилу Мишустину. В письме, с которым ознакомились «Ведомости», содержится просьба доработать утвержденный механизм проверки товаров на маркетплейсах. По…
22 июля Православная церковь чтит память двух священномучеников Панкратия Тавроменийского и Кирилла Гортинского. В народе — День Панкратия Ягодника. Дата по старому стилю — 9 июля. Общественная служба новостей узнала,…
Хореограф группы Тутберидзе Алексей Железняков прокомментировал уход 19-летней фигуристки Аделии Петросян из команды известного тренера. Он отметил, что это решение может негативно сказаться на карьере спортсменки. Аделия покинула отделение «Хрустальный»…