Ученые из университета Решетнева создали методику против лжи нейросетей

Сотрудники университета Решетнева разработали методику, позволяющую нейросетям избавляться от недостоверных или выдуманных фактов. Разработка применима в образовании, на портале «Госуслуги», в медицине и юриспруденции. Официальное сообщение об этом поступило в агентство РИА Новости от пресс-службы вуза.

Проблема «галлюцинаций» нейросетей, когда алгоритмы уверенно выдают ложную информацию, остается острой. Для борьбы с ней ранее использовались RAG-системы (Retrieval-Augmented Generation). Такой подход предполагал, что нейросеть сначала ищет релевантные данные в базе знаний, затем формирует ответ.

Однако, как отметили в университете, ошибки все равно возникали из-за опечаток, противоречий в запросе или неполноты базы данных. Это требовало более совершенного решения, и команда ученых приступила к работе.

Команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии появления «галлюцинаций». Исследователи создали классификатор таких ошибок.

Затем они разработали автоматизированный пайплайн стресс-тестирования: система генерировала тестовые запросы, сравнивала ответы нейросети с эталонными значениями и оценивала точность при помощи специальных метрик и анализа семантического сходства. Этот подход позволил выявить уязвимости моделей.

Ранее сообщалось, что школьников начнут учить работе с ИИ и нейросетями на уроках информатики. Подробнее читайте в материале Общественной службы новостей.