Фото: Кузьмичёнок Василий/Агентство «Москва»
Исследователи из Массачусетского технологического института (MIT) представили новый подход – рекурсивную языковую модель (RLM), – позволяющую искусственному интеллекту работать с текстами, в 100 раз превышающими стандартное ограничение по длине. Вместо попытки «запомнить» весь документ, модель научилась рассматривать его как среду для навигации и точечного извлечения нужных данных.
Традиционные языковые модели имеют фиксированный размер «контекстного окна» (обычно до 100 тысяч токенов). При обработке более длинных текстов (например, книг, многолетних архивов или обширных код-баз) их производительность резко падает: факты путаются, логика рассуждений нарушается, и качество ответов снижается.
Идея MIT заключается в том, чтобы не загружать весь объём данных в «рабочую память» модели. Вместо этого документ структурируется как база данных, по которой ИИ может программно перемещаться, выбирая только те фрагменты, которые действительно необходимы для ответа на запрос. Это похоже на работу поисковика, который находит нужный параграф в огромной библиотеке, не читая все книги целиком.
В тестах RLM успешно обрабатывала целые книги, многолетние архивы и большие кодовые базы, демонстрируя более высокую точность в сложных задачах, требующих глубокого анализа.
Исследователи опубликовали библиотеку с реализацией RLM, включая её облегчённую версию для разработчиков. Над промышленным внедрением технологии уже работает компания Prime Intellect. Этот подход может стать новым стандартом для работы ИИ с гигантскими массивами текстовой информации.
«Ъ» раскрыл детали уголовного дела о хищении свыше 500 миллионов рублей у Минобороны в ходе реализации госконтракта на строительство водовода между Ростовом-на-Дону и Донецком. В деле фигурируют сотрудники филиала Военно-строительной…
Российский союз туриндустрии (РСТ) рекомендовал гражданам не торопиться отменять поездки в страны Ближнего Востока, пишет РБК. Эксперты РСТ имели в виду туры с вылетом после 8–9 марта. По ряду причин…
Певец Валерий Меладзе, чей репертуар в основном состоит из лирических композиций для женской аудитории, поставил свой концерт на 8 Марта. Учитывая, что уже четыре года ему закрыт въезд в Россию,…
Профессор Финансового университета при Правительстве РФ Александр Шатилов в беседе с «Абзацем» заявил, что совместная военная операция США и Израиля против Ирана создает серьёзный прецедент, ведущий к глобальной конфронтации. По…
Общение с кошками, в особенности незнакомыми, способно негативно сказаться на здоровье человека. Об этом «Абзацу» рассказал врач общей практики Денис Прокофьев. По его словам, эти питомцы могут быть переносчиками бешенства.…
Экипировку олимпийской чемпионки по конькобежному спорту Ютты Лердам купили за 195 тысяч евро. Речь идет о ее комбинезоне, передает nu.nl. Приобрести костюм спортсменки можно было в ходе аукциона. За некоторое…