Фото: Кузьмичёнок Василий/Агентство «Москва»
Исследователи из Массачусетского технологического института (MIT) представили новый подход – рекурсивную языковую модель (RLM), – позволяющую искусственному интеллекту работать с текстами, в 100 раз превышающими стандартное ограничение по длине. Вместо попытки «запомнить» весь документ, модель научилась рассматривать его как среду для навигации и точечного извлечения нужных данных.
Традиционные языковые модели имеют фиксированный размер «контекстного окна» (обычно до 100 тысяч токенов). При обработке более длинных текстов (например, книг, многолетних архивов или обширных код-баз) их производительность резко падает: факты путаются, логика рассуждений нарушается, и качество ответов снижается.
Идея MIT заключается в том, чтобы не загружать весь объём данных в «рабочую память» модели. Вместо этого документ структурируется как база данных, по которой ИИ может программно перемещаться, выбирая только те фрагменты, которые действительно необходимы для ответа на запрос. Это похоже на работу поисковика, который находит нужный параграф в огромной библиотеке, не читая все книги целиком.
В тестах RLM успешно обрабатывала целые книги, многолетние архивы и большие кодовые базы, демонстрируя более высокую точность в сложных задачах, требующих глубокого анализа.
Исследователи опубликовали библиотеку с реализацией RLM, включая её облегчённую версию для разработчиков. Над промышленным внедрением технологии уже работает компания Prime Intellect. Этот подход может стать новым стандартом для работы ИИ с гигантскими массивами текстовой информации.
Сотрудники правоохранительных органов Приморского края успешно пресекли деятельность организованной группы, которая занималась незаконной добычей ценных водных биоресурсов. Об этом передает ОТВ. Операция, проведенная в акватории залива Петра Великого, вскрыла игнорирование…
Заместитель председателя Федерации независимых профсоюзов России и ректор Академии труда и социальных отношений Нина Кузьмина рассказала, в каких отраслях возможна четырехдневная рабочая неделя. Ее цитирует ТАСС. По словам специалиста, сокращенная…
Московский суд арестовал граждан Украины и Молдавии, которые планировали убить высокопоставленного российского полицейского. Злоумышленники намеревались использовать самодельное взрывное устройство, замаскированное под зарядную станцию и спрятанное в электросамокате. Об этом информирует…
Европейский союз способен лишь оказывать содействие Украине в производстве дронов, поскольку собственный военно-промышленный комплекс в значительной степени утратил свои позиции. На это указал британский военный аналитик Александр Меркурис. Свое мнение…
Бывшая судья Краснодарского краевого суда Елена Хахалева переобъявлена в розыск. Ранее ее уже искали с мая 2022 года. После того как суд рассмотрел иск Генпрокуратуры об обращении имущества экс-судьи и…
Неопытная и молодая воспитательница детского сада в Великобритании по неосторожности убила 14-месячного ребенка. Об этом информирует Би-би-си. По данным источника, трагедия случилась еще в декабре 2022 года. Сотрудница садика в…