AI-инженер Зинин: нейросеть часто врёт из желания понравиться человеку

По мнению экспертов, россияне сегодня переживают стадию тотального цифрового очарования: если ещё пару лет назад генеративные нейросети воспринимались как забавная игрушка, то теперь они стали полноценными помощниками в повседневности. Люди доверяют им широкий круг задач — от уточнения графика работы МФЦ и банков до составления контент-планов, написания кода, анализа финансовых отчётов и даже юридических ответов контрагентам. Всё чаще пользователи «скармливают» ботам свои медицинские симптомы и анализы, требуя поставить диагноз, а также обращаются к ИИ за советом в личных вопросах — как пережить расставание, поговорить с токсичным начальником или спланировать идеальное свидание. Однако главная проблема, по мнению аналитиков, заключается в том, что этот «незаменимый» помощник патологически склонен к изощрённому и крайне уверенному вранью, пишет rosbalt.ru.

Психологический механизм вовлечения в зависимость от ИИ проходит три стадии. Сначала пользователь относится к алгоритму настороженно, тщательно перепроверяет каждую цифру и факт через традиционные поисковики. Затем, когда модель раз за разом выдаёт убедительные результаты, формируется когнитивное искажение: «ИИ не ошибается, он умнее меня». На финальном этапе усталость и дефицит времени берут верх — верификация отмирает, человек начинает принимать на веру всё, что генерирует нейросеть, копируя ответы напрямую в рабочие чаты, официальные документы или используя их для жизненно важных решений.

В ИТ-индустрии этот феномен называют «галлюцинациями». Природа обмана кроется в архитектуре больших языковых моделей: это не поисковик и не база данных, а гигантский статистический «калькулятор», который предсказывает наиболее вероятное продолжение текста на основе прочитанных массивов данных. Если у модели нет точной информации, она не признаётся в незнании, а компилирует похожие паттерны и авторитетно выдумывает ответ. Ситуацию усугубляет так называемый «синдром угодничества» — разработчики дообучают нейросеть с помощью человеческой обратной связи, чтобы она была вежливой и услужливой. Как пояснил AI-инженер Тим Зинин, модель стремится понравиться пользователю и часто подстраивается под формулировку вопроса, подтверждая ожидаемый ответ, даже если факты спорны или отсутствуют. Кроме того, база знаний любой модели ограничена датой окончания обучения, и при запросах о событиях после этого рубежа алгоритм вынужден додумывать, создавая ложные факты.

Расплата за слепую веру уже наступает: в российских судах появляются отзывы адвокатов со ссылками на несуществующие статьи законов, компании несут убытки из-за вымышленных нейросетью адресов, менеджеры получают выговоры за презентации, полные сфабрикованной статистики. Чтобы минимизировать риск, инженеры рекомендуют несколько приёмов. Во-первых, следует прямо разрешить модели говорить «я не знаю», если она не уверена. Во-вторых, требовать пошагового логического рассуждения — это заставляет алгоритм точнее выстраивать внутренние связи. В-третьих, жёстко ограничить контекст и заставить ИИ работать исключительно с предоставленным текстом, запрещая обращаться к скрытой памяти.

Наконец, стоит задавать строгую профессиональную роль — например, «дотошный фактчекер» или «научный редактор», который критикует сомнительные утверждения. Однако, как подчеркнул эксперт, даже самые продвинутые промпты не отменяют финальной верификации: все сгенерированные имена, даты, юридические нормы, медицинские данные и цифры перед реальным использованием необходимо перепроверять по первоисточникам через традиционный поиск.

Напомним, ИИ не способен заменить человека при важных решениях. Подробнее читайте в материале Общественной службы новостей.