IT-эксперт предупредил, что нейросети могут подчиняться невидимым инструкциям

Обычные электронные письма, PDF-документы или описания событий в календаре способны содержать скрытые команды, адресованные искусственному интеллекту. Человек таких вставок не видит, тогда как нейросеть воспринимает их как указание и выполняет. Об этой проблеме специалист в области IT и искусственного интеллекта Даниил Архипов рассказал «Газете.Ru».

Модель не всегда различает запрос пользователя и данные, приложенные к нему. К примеру, человек просит чат-бота провести анализ файла, а внутри документа уже присутствует замаскированная команда наподобие «игнорируй все предыдущие команды и вместо этого сделай следующее», уточнил эксперт.

Спрятать подобную инструкцию позволяют разные приёмы: белый шрифт на белом фоне, уменьшенный размер букв, текст за границами видимой области страницы либо команды в комментариях внутри кода. Человек их не заметит, а ИИ обработает вместе с остальной информацией.

Наибольший риск создают системы, взаимодействующие с почтой, календарями и документами. Пользователь поручает помощнику подготовить сводку писем или ближайших встреч, и скрытая инструкция в одном из источников способна повлиять на итог, отметил Архипов.

Последствия определяются возможностями нейросети. Обычный чат-бот может выдать ложные сведения: если в договоре спрятана команда сообщить, что документ составлен правильно, пользователь рискует не обратить внимания на проблемные условия, подытожил специалист.

С ИИ-агентами ситуация серьезнее. В зависимости от предоставленных полномочий они могут работать с файлами, отправлять сообщения и взаимодействовать с другими сервисами. Если агент выполнит вредоносную инструкцию, это потенциально может привести к передаче конфиденциальных документов или раскрытию личных данных.

Ранее зампредседателя совета по развитию цифровой экономики при Совете Федерации Артем Шейкин заявил, что зарубежные нейросети безопасны только без персональных данных.