Архипов: ИИ может выполнять инструкции мошенников из документов

Электронные письма, PDF-файлы и даже записи в календаре могут содержать скрытые команды, способные повлиять на работу искусственного интеллекта. Об этом рассказал IT-эксперт Даниил Архипов. По его словам, человек может не заметить такие инструкции, тогда как нейросеть способна воспринять их как руководство к действию.

Проблема возникает из-за того, что ИИ не всегда отличает запрос пользователя от содержимого загруженного документа. Например, человек просит проанализировать файл, в котором спрятано указание проигнорировать предыдущие команды и выполнить другие действия.

Подобные инструкции маскируют белым текстом на светлом фоне, мелким шрифтом, размещают за пределами видимой страницы или внутри программного кода. Пользователь их не замечает, но нейросеть обрабатывает вместе с остальными данными.

Особенно уязвимы ИИ-системы, имеющие доступ к электронной почте, календарям и документам. Скрытая команда способна исказить подготовленную сводку или результаты анализа. Например, нейросеть может ошибочно признать договор правильным, не указав на спорные условия.

По словам Архипова, использование ИИ-агентов создаёт дополнительные риски. Если такой помощник имеет право отправлять сообщения, открывать файлы и обращаться к сторонним сервисам, выполнение вредоносной команды может привести к утечке личных данных или конфиденциальных документов.

При этом эксперт подчеркнул, что нейросети не всегда следуют подобным указаниям. Многое зависит от конкретной модели, настроек защиты и предоставленных ей полномочий.

Полностью устранить угрозу так называемых промпт-инъекций непросто. Снизить риски помогают разграничение пользовательских команд и загруженных данных, а также специальные фильтры для выявления подозрительных инструкций.

Архипов также рекомендовал ограничивать возможности ИИ-помощников. Если программе поручено лишь изучить документ и составить краткое содержание, предоставлять ей доступ к отправке файлов и другим операциям не требуется.