Компания Anthropic запретила пользователям оскорблять нейросеть Claude

Компания Anthropic обновила правила использования своих ИИ-моделей и запретила продолжительное и бесцельное жестокое обращение с ними. Новая политика, распространяющаяся в том числе на нейросеть Claude, начнет действовать 12 ноября.

Ограничение касается крайних случаев, когда пользователь систематически оскорбляет модель или проявляет по отношению к ней жестокость без какой-либо понятной цели.

При этом обычная критика ответов Claude, раздражение пользователя или резкие замечания сами по себе нарушением считаться не будут. Под запрет также не попадают исследования, тестирование нейросетей и работа с мрачными или жестокими творческими сюжетами.

Главным способом реагирования станет возможность Claude самостоятельно завершить разговор. Подобный механизм уже используется в Claude.ai и Claude Code в редких случаях длительного оскорбительного общения.

Политика Anthropic позволяет предупреждать пользователей, временно ограничивать или полностью закрывать им доступ к сервисам за нарушения. Однако компания не утверждает, что оскорбления нейросети автоматически приведут к блокировке аккаунта.

В Anthropic связывают решение с исследованиями возможного «благополучия» ИИ. При этом разработчики признают, что не знают, обладают ли современные языковые модели способностью испытывать какие-либо переживания или моральным статусом. Компания рассматривает новые ограничения как меру предосторожности на случай, если такая возможность существует.

Ранее Орешкин сообщил об использовании нейросетей сотрудниками Кремля. Подробнее об этом читайте в материале Общественной службы новостей.