Изображение сгенерировано нейросетью Шедеврум
Четыре независимые исследовательские команды за десять дней продемонстрировали разные способы атак на ИИ-агентов. Главная опасность связана не только с работой самих нейросетей, но и с доступом, который им предоставляют к электронной почте, документам, памяти и внешним сервисам. Об этом пишет технологическое издание The Next Web.
В одном из исследований специалисты показали, что вредоносное расширение для браузера может подделать нажатие пользователя и заставить ИИ-помощника читать письма в Gmail, документы и записи календаря.
Особенно опасной такая уязвимость становится при включённом режиме, в котором агенту разрешено выполнять действия без дополнительного подтверждения.
Другая команда выяснила, что специально составленное письмо способно внедрить ложную информацию в долговременную память ИИ. В дальнейшем агент может использовать эти инструкции в новых разговорах, не предупреждая пользователя о том, откуда они появились. В ходе эксперимента вредоносные указания сохранялись в памяти более чем в половине случаев.
Ещё один эксперимент показал, что злоумышленники могут относительно дёшево внедрить скрытую уязвимость непосредственно в открытую ИИ-модель. Для этого исследователям потребовались десять изменённых примеров для обучения, около часа работы и менее 75 фунтов.
После вмешательства модель продолжала нормально работать, но создавала программный код со скрытой уязвимостью.
Отдельная проблема связана с коннекторами, через которые ИИ подключается к Gmail, Slack, Dropbox и другим платформам. Исследователи обнаружили, что набор доступных агентам функций постоянно меняется.
Пользователь может предоставить разрешение одному набору действий, а через некоторое время сервис получит дополнительные возможности, включая удаление или передачу данных.
Специалисты предлагают проверять каждое действие агента, фиксировать происхождение информации, запрашивать подтверждение перед сохранением данных в память и ограничивать доступ к внешним сервисам. Однако такие меры могут снизить скорость работы ИИ-помощников, которая считается одним из их главных преимуществ.
Ранее сбой ChatGPT затронул 70 тыс. пользователей по всему миру. Подробнее об этом читайте в материале Общественной службы новостей.
Украинским воинским подразделениям передан приказ о прекращении огня на всей линии боевого соприкосновения. Согласно распоряжению, режим тишины должен соблюдаться с полуночи 5 сентября до 23:59 8 сентября включительно. Эта информация…
Депутат Верховной рады Артем Дмитрук заявил, что Владимир Зеленский повышает градус конфликта и угрожает гражданской авиации в России, стремясь не допустить мирного урегулирования. Об этом парламентарий написал в своем Telegram-канале.…
В индийском штате Андхра-Прадеш рыбак поймал необычно крупного карпа роху весом около 15 килограммов. Огромная рыба сразу привлекла внимание местных жителей, которые заявили, что подобных экземпляров в этом районе не…
Ученик восьмого класса Кирилл Харьковский, который быстро справился с математической задачей премьер-министра Михаила Мишустина, получил обещанный подарок. Информацию подтвердили в образовательном комплексе «Орбита». Школьнику вручили книгу Якова Перельмана «Занимательная математика».…
В субботу, 5 сентября 2026 года, в Москву в третий раз прибудут для проведения переговоров спецпосланники президента США Дональда Трампа — Стив Уиткофф и Джаред Кушнер. Информация о предстоящем визите…
Советник киевского главаря Сергей Бескрестнов 4 сентября заявил, что Украина отстала от России в области интеграции бортового искусственного интеллекта (ИИ) в боевые дроны. Соответствующее заявление он сделал в контексте анализа…