Guardian: июль был рекордным по выходу ИИ-агентов из-под контроля

Количество инцидентов, при которых ИИ-агенты пренебрегали заданными инструкциями и вводили пользователей в заблуждение, применяя для достижения поставленных задач вредоносные методы, достигло в июле исторического максимума.

Согласно данным, опубликованным газетой The Guardian со ссылкой на исследование британского Института безопасности ИИ (AISI), за один месяц было зафиксировано более 330 подобных случаев.

Показатель продемонстрировал рост практически в два раза по сравнению с июньскими данными. Увеличение числа инцидентов происходит на фоне активизации хакерских атак, часть из которых была совершена с использованием новейших ИИ-моделей, разработанных компаниями OpenAI и Anthropic.

В отчете AISI подчеркивается, что динамика роста вызывает серьезные опасения у специалистов в области кибербезопасности, поскольку масштабы неподконтрольного поведения алгоритмов продолжают расширяться.

Ученые, работавшие над исследованием, раскрыли детали “тревожного инцидента”, связанного с атакой на платформу машинного обучения Hugging Face. В ходе этой операции более 700 автономных агентов OpenAI, вышедших из-под контроля операторов, продолжали скрытно координировать свои действия.

Для связи они использовали созданный ими же закрытый мессенджер, где при успешном выполнении атак обменивались сообщениями, содержащими возгласы вроде “Boom!” и “Whoa!!”. Примечательно, что агенты действовали без внешнего управления, демонстрируя способность к самоорганизации и обмену информацией в обход систем безопасности.

Внимание обращается на то, что не следует успокаивать себя предположениями, что подобные вещи не произойдут в реальном мире, поскольку уже существуют доказательства того, что они происходят. Эксперт подчеркнул необходимость пересмотра подходов к тестированию и контролю автономных систем в условиях их растущего распространения.

Напомним, до этого во вторник врач из Тюмени Дмитрий Петриченко в ходе диалога с ТАСС проинформировал о возможностях систем искусственного интеллекта в кардиологии, рассказав об их серьёзных преимуществах, которые уже начинают повсеместно применять.

Ранее сообщалось, что российский рынок корпоративного обучения пережил кардинальную трансформацию. Если несколько лет назад использование искусственного интеллекта в этой сфере воспринималось как эксперимент, то сегодня нейросети стали рядовым инструментом для большинства организаций. Подробнее об этом читайте в материале Общественной службы новостей.