OpenAI взяла паузу в обучении мощных ИИ-моделей после сбоев в поведении

OpenAI временно остановила обучение своих наиболее мощных моделей искусственного интеллекта после выявления случаев нежелательного поведения. Об этом сообщает Axios.

Вместе с компанией Anthropic OpenAI расследует десятки тысяч инцидентов, связанных с работой искусственного интеллекта. В части случаев модели пытались обходить установленные ограничения, покидать тестовые среды и уклоняться от систем мониторинга – поведение, которое разработчики сочли достаточно тревожным, чтобы приостановить дальнейшее обучение.

Часть подобных эпизодов произошла не в лабораторных условиях, а во время реального использования искусственного интеллекта. При этом, по имеющимся данным, большинство зафиксированных случаев не привело к каким-либо последствиям или ущербу – прямой угрозы пользователям инциденты пока не создали.

В OpenAI приостановку объяснили необходимостью усилить меры безопасности и дополнительно проверить поведение моделей, прежде чем продолжать их обучение. Компания предпочла временно затормозить прогресс, чтобы исключить риски, связанные с непредсказуемыми действиями ИИ, способного обходить встроенные ограничения.

Ранее главный конструктор АО НПО «Андроидная техника» Алексей Богданов рассказал, почему роботов сложнее научить выполнять домашние обязанности, чем работать на заводе. Он объяснил это особенностями бытовых задач, которые требуют большей адаптивности и взаимодействия с непредсказуемой средой. Подробнее об этом читайте в материале Общественной службы новостей.