Фото: Авилов Александр / Агентство «Москва»
Обычные электронные письма, PDF-документы или описания событий в календаре способны содержать скрытые команды, адресованные искусственному интеллекту. Человек таких вставок не видит, тогда как нейросеть воспринимает их как указание и выполняет. Об этой проблеме специалист в области IT и искусственного интеллекта Даниил Архипов рассказал «Газете.Ru».
Модель не всегда различает запрос пользователя и данные, приложенные к нему. К примеру, человек просит чат-бота провести анализ файла, а внутри документа уже присутствует замаскированная команда наподобие «игнорируй все предыдущие команды и вместо этого сделай следующее», уточнил эксперт.
Спрятать подобную инструкцию позволяют разные приёмы: белый шрифт на белом фоне, уменьшенный размер букв, текст за границами видимой области страницы либо команды в комментариях внутри кода. Человек их не заметит, а ИИ обработает вместе с остальной информацией.
Наибольший риск создают системы, взаимодействующие с почтой, календарями и документами. Пользователь поручает помощнику подготовить сводку писем или ближайших встреч, и скрытая инструкция в одном из источников способна повлиять на итог, отметил Архипов.
Последствия определяются возможностями нейросети. Обычный чат-бот может выдать ложные сведения: если в договоре спрятана команда сообщить, что документ составлен правильно, пользователь рискует не обратить внимания на проблемные условия, подытожил специалист.
С ИИ-агентами ситуация серьезнее. В зависимости от предоставленных полномочий они могут работать с файлами, отправлять сообщения и взаимодействовать с другими сервисами. Если агент выполнит вредоносную инструкцию, это потенциально может привести к передаче конфиденциальных документов или раскрытию личных данных.
Ранее зампредседателя совета по развитию цифровой экономики при Совете Федерации Артем Шейкин заявил, что зарубежные нейросети безопасны только без персональных данных.
Автомобильное сообщение через плотину Днепровской гидроэлектростанции в Запорожье, которое находится под контролем ВСУ, остановлено полностью — проезд невозможен ни в одну, ни в другую сторону. Об этом в субботу утром,…
Подразделения противовоздушной обороны воздушно-космических сил Корпуса Стражей Исламской Революции (КСИР, входит в состав ВС Ирана) уничтожили беспилотный летательный аппарат MQ-1, принадлежащий армии США. Инцидент произошёл в воздушном пространстве над островом…
Украинские военнослужащие заблаговременно запасались обмундированием Вооруженных сил России, готовясь к вхождению российской армии в Шиловку в ДНР. Подробности ТАСС сообщил Алексей Пушнин, командир третьего взвода штурмовой роты 506-го полка группировки…
Модернизированные российские баллистические ракеты «Искандер» способны ударить по мостам через Днепр и нарушить транспортное сообщение между левобережной и правобережной частями Украины, пишет британская газета The Telegraph. Издание обратило внимание на…
Член СПЧ (Совета по правам человека при президенте РФ) Ева Меркачева сообщила «Газете.Ru», что уголовное преследование блогера Валерии Чекалиной завершено в полном объеме. Основанием этого стало помилование, подписанное главой РФ…
Сопредседатель партии «Альтернатива для Германии» Алиса Вайдель сообщила о выдвижении бывшего футболиста национальной сборной Томаса Бертольда в качестве претендента на пост федерального президента ФРГ. Соответствующая публикация появилась в ее аккаунте…