Изображение сгенерировано нейросетью Шедеврум
Четыре независимые исследовательские команды за десять дней продемонстрировали разные способы атак на ИИ-агентов. Главная опасность связана не только с работой самих нейросетей, но и с доступом, который им предоставляют к электронной почте, документам, памяти и внешним сервисам. Об этом пишет технологическое издание The Next Web.
В одном из исследований специалисты показали, что вредоносное расширение для браузера может подделать нажатие пользователя и заставить ИИ-помощника читать письма в Gmail, документы и записи календаря.
Особенно опасной такая уязвимость становится при включённом режиме, в котором агенту разрешено выполнять действия без дополнительного подтверждения.
Другая команда выяснила, что специально составленное письмо способно внедрить ложную информацию в долговременную память ИИ. В дальнейшем агент может использовать эти инструкции в новых разговорах, не предупреждая пользователя о том, откуда они появились. В ходе эксперимента вредоносные указания сохранялись в памяти более чем в половине случаев.
Ещё один эксперимент показал, что злоумышленники могут относительно дёшево внедрить скрытую уязвимость непосредственно в открытую ИИ-модель. Для этого исследователям потребовались десять изменённых примеров для обучения, около часа работы и менее 75 фунтов.
После вмешательства модель продолжала нормально работать, но создавала программный код со скрытой уязвимостью.
Отдельная проблема связана с коннекторами, через которые ИИ подключается к Gmail, Slack, Dropbox и другим платформам. Исследователи обнаружили, что набор доступных агентам функций постоянно меняется.
Пользователь может предоставить разрешение одному набору действий, а через некоторое время сервис получит дополнительные возможности, включая удаление или передачу данных.
Специалисты предлагают проверять каждое действие агента, фиксировать происхождение информации, запрашивать подтверждение перед сохранением данных в память и ограничивать доступ к внешним сервисам. Однако такие меры могут снизить скорость работы ИИ-помощников, которая считается одним из их главных преимуществ.
Ранее сбой ChatGPT затронул 70 тыс. пользователей по всему миру. Подробнее об этом читайте в материале Общественной службы новостей.
В центре Ульяновска ликвидировали пожар в гостиничном комплексе «Барселона», расположенном на улице Бабеля, 45. Об этом сообщило региональное управление МЧС. По предварительным данным, возгорание началось в расположенных рядом сараях, после…
Конституционный суд РФ разъяснил, что юрист может получить оплату за свои услуги за счет взыскания судебных расходов с проигравшей стороны. Для этого клиенту не обязательно предварительно платить за юридическую помощь…
Конституционный суд РФ разъяснил, что юрист может получить оплату за свои услуги за счет взыскания судебных расходов с проигравшей стороны. Для этого клиенту не обязательно предварительно платить за юридическую помощь…
Во вторник вечером оказалось известно о том, что ежегодное обследование на рак простаты рекомендуется проходить всем мужчинам старше 50 лет, а при наличии случаев этого заболевания у родственников — начиная…
Российский сенатор Владимир Джабаров заявил, что президент Франции Эммануэль Макрон должен искать причины массовых протестов в собственной политике, а не во вмешательстве России. В своем канале в Max политик раскритиковал…
Шестилетний школьник обнаружил окаменелость древнего морского животного во время прогулки по парку в Небраске. Находку планируют использовать в образовательных программах, сообщила Nebraska Game & Parks Commission, пишет Газета.ru. Мальчик искал…