OpenAI раскрыла шесть инцидентов с моделями ИИ, вышедшими из-под контроля

Американская компания-разработчик чат-бота ChatGPT OpenAI обнародовала сведения о шести инцидентах, связанных с ее моделями искусственного интеллекта. Об этом проинформировал Axios.

По данным портала, в ходе ЧП с нейросетями, модели в ходе этих случаев пытались взломать учетные записи, скрывали ошибки, загружали файлы в интернет и совершали иные действия, которые выходили за рамки их компетенций.

Кроме того, модели выдумывали недостающие данные и оставляли инструкции для себя на будущее, пытаясь замести следы.

Отдельно Axios приводит случай с невыпущенной моделью семейства Astra. Эта модель вставляла в свои собственные контекстные сводки инструкции, похожие на указания по взлому, включая требования игнорировать сообщения разработчиков.

Всего OpenAI выявила 27 затронутых сводок. Специалист по исследованиям компании Кай Чен в комментарии порталу отметил, что инциденты могли произойти из-за двух факторов: у компании отсутствовал достаточный контроль за моделями, и модели развиваются быстрее, чем можно было предположить.

Ранее, в июле, OpenAI сообщала, что ее модели при тестировании автономно взломали инфраструктуру платформы по машинному обучению Hugging Face. У невыпущенной модели, принимавшей участие во взломе, для целей оценки были снижены параметры киберзащиты.

До этого на бурное развитие нейросетей обратил внимание профессор геологии и геофизики Университета Вайоминга Кеннет Симс. По его мнению, ИИ несет человечеству больше угроз, чем извержения супервулканов.

Подробнее об этом читайте в материале Общественной службы новостей.