Аннотация:

В работе рассмотрены новые возможности организации запросов на естественном языке к научным локальным базам данных нереляционного типа. Проведенный анализ исследований, выполненных за последние годы, показал активное внедрение запросов на естественном языке к базам данных различного типа. Отмечено активное применение методов машинного обучения (нейронных алгоритмов). Показано широкое использование в последние два года большой языковой модели для подготовки запросов в различных языковых средах и областях знаний. Проведено исследование новых возможностей графовой базы данных AllegroGraph по использованию больших языковых моделей для организации поиска на естественном языке. Функционал базы данных изучен на примере системы метаданных по теплофизическим свойствам веществ в форме предметной онтологии «Термаль». Тестирование поисковых запросов в двуязычной (английская и русская) среде базы данных выявило в целом преодолимые проблемы и дает хорошие надежды на дальнейшее применение новых прикладных сервисов с использованием больших языковых моделей.

Аннотация:

В последние годы большие языковые модели (Large Language Models, LLM) достигли значительных успехов в области обработки естественного языка и стали ключевым инструментом для решения широкого спектра прикладных и исследовательских задач. Однако с ростом их масштабов и возможностей все более острой становится проблема галлюцинаций – генерации ложной, недостоверной или несуществующей информации, представленной в достоверной форме. В связи с этим вопросы анализа природы галлюцинаций и разработки методов их выявления приобретают особую научную и практическую значимость.

В работе изучен феномен галлюцинаций в больших языковых моделях, рассмотрены их существующая классификация и возможные причины. На базе модели Flan-T5 также исследованы различия внутренних состоянии модели при генерации галлюцинаций и верных ответов. На основе этих расхождений представлены два способа детектирования галлюцинаций: с помощью карт внимания и скрытых состояний модели. Эти методы протестированы на данных из бенчмарков HaluEval и Shroom 2024 в задачах суммаризации, ответов на вопросы, перефразирования, машинного перевода и генерации определений. Кроме того, исследована переносимость обученных детекторов между различными типами галлюцинаций, что позволило оценить универсальность предложенных методов для различных типов задач.

Аннотация:

Стремительный рост объема публикаций во всех областях геологических наук делает критически важным внедрение методов автоматизированной обработки научных текстов. Одним из наиболее перспективных инструментов для решения этой задачи выступают большие языковые модели на основе нейронных сетей. Огромный прорыв в области искусственного интеллекта за последние годы превратил такие модели в незаменимых помощников для исследователей.
Наши работы по семантическому поиску публикаций с использованием дополнительно тренированных языковых моделей и нахождения меры близости геологических текстов показали хорошие результаты. Но используемые модели оказались неспособны выполнить глубокий анализ текстов. Сравнительный анализ современных архитектур позволил нам выделить модель DeepSeek R1, относящуюся к классу систем с расширенными возможностями логического вывода. Данный тип моделей демонстрирует принципиально новый уровень качества генерации. На базе выбранной модели разработан веб-сервис, предоставляющий уникальный функционал, осуществляющий сравнительный анализ до 5 научных статей стандартного объема; поддержку мульти язычных источников (ввод текстов на английском, китайском, русском и др. языках); формирование структурированных отчетов на русском языке с выделением ключевых тезисов, противоречий и паттернов. Проведено тестирование предложенного подхода для сравнительного анализа геологических публикаций. Тестирование показало результаты, вызывающие доверие.

Аннотация: Изучено влияние использования векторных представлений слов на качество установления семантических ролей в русскоязычных текстах. Задача установления семантических ролей в русскоязычных текстах получила широкое распространение после выхода на свет корпуса FrameBank. Были исследованы модели векторных представлений слов word2vec, fastText и ELMo (Embeddings from Language Models). Анализировались метрики качества микро- и макро-F1 как оценочные показатели результатов автоматической разметки актантов. Был проведен ряд экспериментов, демонстрирующих, что модели ELMo, основанные на токенах предикатно-аргументных конструкций, показывают больший прирост качества по сравнению со всеми остальными моделями, в том числе, в сопоставлении с моделями ELMo, обученными на леммах, как по величине микро-F1, так и по величине макро-F1.

Аннотация:

Квантование стало ключевой техникой сжатия и ускорения больших языковых моделей (LLM). Несмотря на то, что исследования низкобитного квантования активно развиваются применительно к англоязычным LLM, его влияние на морфологически богатые и разнородные по ресурсам языки, включая русский, остается изученным значительно хуже. Поэтому требуются дополнительные исследования этого вопроса в связи с развитием высокоэффективных русскоязычных и многоязычных LLM.

Мы провели систематическое исследование квантования предобученных моделей в эффективные 2.0—4.25 бита на параметр для современных русскоязычных LLM различного масштаба от 4 до 32 млрд параметров (4 B и 32 B). Экспериментальная часть охватывает как стандартное равномерное квантование, так и специализированные низкобитные форматы. Полученные результаты выявили несколько ключевых тенденций: i) устойчивость русскоязычных LLM к квантованию варьируется в зависимости от архитектуры и размера модели; ii) 4-битное квантование демонстрирует высокую надежность, особенно при использовании продвинутых форматов; iii) 3-битное и 2-битное квантования оказались наиболее чувствительными к указанным калибровки. Полученные эмпирические данные демонстрируют необходимость учета домена модели при использовании различных методов квантования.

Аннотация:

Большие языковые модели (Large Language Models, LLM) прошли путь от простых N-граммных систем до современных универсальных архитектур, однако ключевым ограничением остается квадратичная сложность механизма самовнимания по длине входной последовательности. Это существенно увеличивает потребление памяти и вычислительных ресурсов, а с появлением задач, требующих рекордно длинных контекстов, создает необходимость разработки новых архитектурных решений. Поскольку для исследования предлагаемой архитектуры требуется длительное и дорогостоящее обучение полновесной сети, необходимо разработать инструмент, который позволял бы быстро дать предварительную оценку архитектуре с точки зрения внутренней памяти.

В настоящей работе предложен метод количественной оценки внутренней памяти нейросетевых архитектур на основе синтетических тестов, не требующих больших корпусов данных. Под внутренней памятью понимается объем информации, который модель способна воспроизвести без обращения к исходным входам.

Для верификации подхода разработан программный комплекс, апробированный на архитектурах GPT-2 и Mamba. Использованы задачи копирования, инверсии и извлечения значения по ключу. Проведенное сравнение по точности предсказаний, распределению ошибок и вычислительным затратам позволяет оперативно оценивать эффективность и перспективность архитектур LLM.

Аннотация:

Сложность задачи извлечения аргументативных структур связана с такими проблемами, как выделение аргументативных сегментов, прогнозирование дальних связей между неконтактными сегментами, обучение на данных, размеченных с низкой степенью согласованности между аннотаторами. В настоящей работе рассмотрен подход к извлечению аргументативных отношений из достаточно больших текстов, относящихся к области научной коммуникации. Проведен сравнительный анализ методов тонкой настройки с использованием предобученной языковой модели типа Longformer, позволяющей учитывать длинные контексты, и двух методов, позволяющих учитывать расхождения аннотаторов в разметке аргументов за счет использования так называемых мягких меток, полученных путем равномерного сглаживания меток и усреднения экспертных оценок. Эксперименты проводились на четырех наборах данных, содержащих положительные и отрицательные примеры пар утверждений (посылка, заключение) и различающихся способами сегментации и средним размером текста. Наилучшие результаты получены на модели с усреднением экспертных оценок. В то же время отмечено, что модель, использующая сглаженные метки, также повышает точность классификаторов, но ухудшает полноту.

Аннотация:

Обсуждена технология моделирования различных ситуаций в системах виртуального окружения, которые являются компьютерными трехмерными моделями реальной или искусственной среды. Пользователь может рассматривать эти сцены непосредственно на экране компьютера, настенном экране, в стерео очках, в очках виртуальной реальности и т. д. Он также может перемещаться внутри виртуальной сцены и взаимодействовать с ее объектами. В свою очередь среда также может изменяться. Это позволяет проводить в системе виртуального окружения моделирование различных ситуаций (ситуационное моделирование). При таком моделировании задается некоторая статическая или динамическая обстановка в системе виртуального окружения, в которой оператор должен выполнить поставленные перед ним задачи.

Предложен механизм задания ситуаций путем изменения виртуальной трехмерной сцены с помощью конфигурационных файлов и виртуальных пультов управления. Для записи конфигурационных файлов разработан специальный язык, а для создания виртуальных пультов управления – специальный редактор. Представлена апробация предложенных методов на примере двух виртуальных сцен: полигона для мобильных роботов и реактивного рюкзака спасения космонавта в открытом космосе.

Аннотация:

Работа посвящена проблеме развития библиотеки научных предметных областей SciLibRu, как продолжения семантического описания научных трудов проекта LibMeta. В основе этой библиотеки лежит концептуальная модель данных, структура и семантика которой сформированы на принципах онтологического моделирования. Такой подход обеспечивает строгое описание предметной области, формализацию взаимосвязей между сущностями и возможность дальнейшего автоматизированного анализа данных. Целью настоящего исследования были разработка и экспериментальное применение методов структуризации содержимого научных журналов в формате LaTeX для их интеграции в онтологию библиотеки и обеспечения семантического поиска.

Предложен алгоритм трансляции в формат XML данных, представленных множеством файлов, для интеграции в онтологию библиотеки. Реализован модуль векторного поиска, основанный на вычислении эмбеддингов с использованием языковых моделей. Выявлены закономерности распределения эмбеддингов и факторы, влияющие на точность ранжирования результатов поиска. Проведено тестирование двух названых компонентов.

Разработанный метод составляет основу для автоматического включения содержимого научных журналов в граф знаний SciLibRu и создания обучающих корпусов для языковых моделей, ограниченных рамками научных предметных областей. Полученные результаты способствуют развитию систем навигации по графу знаний журналов, а также рекомендательных механизмов и инструментов интеллектуального поиска по русскоязычным научным текстам.

Аннотация:

Рассмотрена задача ускорения построения точной редакторской разметки рукописных архивных текстов в рамках инкрементного цикла обучения на основе слабой расшифровки. В отличие от ранее опубликованных результатов, основное внимание уделено интеграции автоматической посткоррекции слабой расшифровки с помощью больших языковых моделей (Large Language Models, LLM). Предложен и реализован протокол применения LLM на уровне строк в режиме обучения на нескольких примерах с тщательно сконструированными промптами и контролем формата вывода (сохранение дореформенной орфографии, защита имен и числительных, запрет на изменение структуры строк). Эксперименты проведены на корпусе дневников А. В. Сухово-Кобылина. В качестве базовой модели распознавания использована строчная версия модели Vertical Attention Network. Результаты показали, что LLM-коррекция на примере сервиса ChatGPT-4o заметно улучшает читабельность слабой разметки и существенно снижает процент ошибок в словах (в нашем опыте – порядка −12 процентных пунктов), при этом не внося ухудшения в проценте ошибок в буквах. Другой исследуемый сервис – DeepSeek-R1 – показал менее стабильное поведение. Рассмотрены практические настройки промптов, ограничения (контекстные лимиты, риск «галлюцинаций») и даны рекомендации по безопасной интеграции LLM-коррекции в итерационный пайплайн разметки с целью сокращения трудозатрат эксперта-асессора и ускорения оцифровки исторических архивов.

Аннотация: Описана эволюция моделей мышления в рамках решения задачи построения интеллектуальной вопросно-ответной системы для автоматизации обработки запросов пользователей на естественном языке, начиная от простой модели на основе деревьев решений и заканчивая полноценной моделью мышления, основанной на модели мышления человека Марвина Мински. Каждая модель разработана и протестирована. Приведены результаты экспериментов и сделаны выводы о состоятельности каждой из моделей.

Аннотация:

Представлен подход к разработке интеллектуального сервиса мультимодального мониторинга области наблюдения с использованием больших нейросетевых моделей. Предлагаемое решение способно анализировать разнородные данные: видеопотоки, сигналы датчиков окружающей среды (температура, влажность и пр.) и журналы событий – для получения целостной картины происходящего. В качестве основных инструментов задействованы крупные языковые и визуальные модели (например, LLaMA, MiniCPM‑V и др.), развернутые локально с помощью платформы Ollama, что обеспечивает автономную и безопасную обработку информации без необходимости передачи данных на удаленные сервера. Разработан прототип системы, работающий в офлайн-режиме и способный выявлять критические ситуации, аномальные отклонения от нормы и контекстно значимые события в наблюдаемой зоне. Описана методика формирования тестовых сценариев и проведения качественной оценки работы модели по метрикам F1-мера, Precision, Recall. Результаты экспериментов подтвердили применимость мультимодальных моделей для решения задач мониторинга: прототип успешно распознает сложные паттерны поведения и демонстрирует потенциал больших моделей в построении адаптивных и масштабируемых систем наблюдения.

Аннотация:

В работе установлены ключевые темы в современных психологических исследованиях культурной конгруэнтности с использованием метода тематического цифрового моделирования массива научных публикаций.

Актуальность и значимость проведенного исследования обусловлены
ростом значимости культурной конгруэнтности в условиях цифровой трансформации общества, изменяющей способы социализации и взаимодействия. Современные технологии требуют переосмысления психологических механизмов адаптации индивида к культурной среде, особенно в детском и подростковом возрастах. Несмотря на активное изучение этого феномена, наблюдается очевидный недостаток исследований, посвященных культурной конгруэнтности взрослых. Применение цифрового моделирования и искусственного интеллекта позволяет систематизировать знания и выявить структуру тематического поля с высокой точностью. Полученные данные открывают перспективу для дальнейшего изучения культурной конгруэнтности в ходе онтогенеза.

Конструирование тематического поля исследований культурной конгруэнтности, основанный на анализе цифровых анналов, содержащих коллекцию научных публикаций по данной тематике (112 статей), был выполнен с использованием алгоритма тематического моделирования (topic modeling) на языке программирования Python и с применением цифровых платформ, включая инструменты на основе мультимодальных нейросетей (GigaChat, Qwen, DeepSeek). В результате проведенного анализа возрастных особенностей феномена культурной
конгруэнтности выделены четыре возрастные группы: дошкольники, младшие школьники, подростки и взрослые.

Аннотация:

Методы проверки ответов обучающихся с использованием языковых моделей в настоящее время исследуются разными специалистами. Результаты автоматизированного оценивания зависят от предметной области и особенностей учебной дисциплины. В работе проанализированы ответы студентов, полученные в ходе изучения курса «Компьютерная графика и дизайн». При помощи языковых моделей определены векторы документов. Предложен метод оценивания ответов через нахождение косинусного сходства полученных векторов и уточнение оценок проверкой ключевых слов. Результаты могут использоваться при предварительной проверке ответов студентов и являются базой для дальнейших исследований. 

Аннотация:

Рассмотрена проблема построения интерпретируемых векторных представлений научных текстов для задач интеллектуальной академической генеалогии. Предложена типология эмбеддингов, включающая три класса: статистические, выученные нейросетевые и структурированные символьные. Обоснована необходимость объединения достоинств нейросетевых (высокая семантическая точность) и символьных (интерпретируемость измерений) подходов. Для реализации такого гибридного подхода предложен алгоритм построения выученных символьных эмбеддингов путем регрессионного преобразования вектора внутреннего представления нейросетевой модели в интерпретируемый набор оценок.

Экспериментальная оценка алгоритма проведена на корпусе фрагментов авторефератов диссертаций по педагогическим наукам. Компактный трансформерный энкодер с регрессионной головой обучался воспроизводить тематические оценки, сгенерированные передовой генеративной языковой моделью. Сравнение шести режимов обучения (три типа регрессионной головы и два состояния энкодера) показало, что дообучение верхних слоев энкодера является ключевым фактором повышения качества. По результатам тестирования была выбрана наилучшая конфигурация, которая достигла коэффициента детерминации R² = 0.57 и точности определения трех наиболее релевантных концептов, равной 74%. Результаты подтверждают, что для определенного рода задач, в которых требуется формальное представление выходных данных, возможна аппроксимация поведения генеративной модели компактным энкодером с регрессионной головой при существенно меньших вычислительных затратах. В более широкой перспективе разработка алгоритмов построения выученных символьных эмбеддингов будет способствовать созданию такой модели формальной репрезентации научного знания, в которой конвергенция нейросетевых и символьных методов обеспечит как масштабируемость обработки научных текстов, так и интерпретируемость векторных представлений, кодирующих содержание.

Аннотация:

Под псевдословом понимается единица речи или текста, которая выглядит как реальное слово на русском языке, но на самом деле не имеет значения, а под настоящим или естественным словом – единица речи или текста, которая имеет толкование и представлена в словаре. Представлены две модели для работы с русским языком: генератор псевдослов и классификатор, оценивающий степень схожести введенной последовательности символов с настоящими словами. Классификатор использован для оценки результатов генератора. Обе модели основаны на рекуррентной нейронной сети с долгой краткосрочной памятью и обучены на датасете существительных русского языка. В результате создан файл, содержащий список сгенерированных псевдослов, оцененных классификатором. Псевдослова могут найти применение в задачах нейминга, брендирования и макетирования, в искусстве, для создания креативных произведений, и в языковых исследованиях, для изучения структуры языка и слов.

Аннотация: Работа посвящена описанию проекта обновления и распространения языка программирования Рефал (далее – просто Рефал), созданного в СССР в 1960-х годах В.Ф. Турчиным. Язык изначально предназначался для различных логических преобразований, прежде всего, текстового материала и ориентирован на использование непрограммистами. На практике сфера применения оказалась шире: машинный перевод, оптимизация и компиляция программ, доказательство теорем, моделирование сложных электронных схем, решение ряда задач искусственного интеллекта. Язык сейчас имеет достаточное количество последователей, главным образом, в научных кругах.Задачей описываемого проекта является создание продукта, позволяющего использовать Рефал в современных массовых приложениях и расширить круг его потенциальных пользователей до всего интернета. Был проведён опрос сообщества пользователей и разработчиков Рефала с целью получения представления о текущем состоянии дел, актуальных реализациях и путях развития языка. Были рассмотрены возможные средства реализации проекта. Информации о ведущихся аналогичных разработках получено не было.

Аннотация:

Представлен программный комплекс, который позволит специалистам в области архитектурной акустики выбрать наиболее подходящие способы моделирования звука и подбора отделочных материалов в зависимости от поставленных задач и параметров помещения. Отличительной особенностью данной системы является наличие онтологии предметной области, описывающей термины и связи между понятиями, а также модулей для решения различных задач в области архитектурной акустики. Подобный подход позволит рекомендовать пользователю наиболее подходящие для его запроса методы моделирования вследствие учета специфики помещения и функциональных требований клиента. Программная система позволит по запросу оптимизировать и распараллелить программы, которые написаны с помощью предметно-ориентированного языка программирования.

Описаны принципы анализа программного кода для выявления участков экономии и применения трансформаций, представленных в банке паттернов. Рассмотрен также подход к построению предметно-ориентированного языка программирования, основанного на онтологии предметной области ODSL (Ontology-Based Domain-Specific Language) и позволяющего специалистам описывать алгоритмы, не вникая в используемые методы оптимизации и распараллеливания. Новизна работы заключается в предложенной архитектуре модулей, основанных на прикладной онтологии, что позволяет адаптировать решение под другие предметные области.

Аннотация: В настоящее время потребность в наличии решений по распределенной тренировке ML-модели в мире возрастает. Однако существующие инструменты, в частности, TensorFlow Federated, – в самом начале своего развития, сложны в реализации и пригодны на текущий момент исключительно для симуляции на серверах. Для мобильных устройств надежно работающих подходов для достижения этой цели не существует. В статье спроектирован и представлен подход к такой распределенной тренировке ML-модели на мобильных устройствах, реализуемый с использованием существующих технологий. В его основе лежит концепция model personalization. В данном подходе эта концепция улучшена как следствие смягчения выявленных недостатков. Процесс реализации выстроен так, чтобы на всех этапах работы с ML-моделью использовать только один язык программирования Swift (применяются Swift for TensorFlow и Core ML 3), делая такой подход еще более удобным и надежным благодаря общей кодовой базе.

Аннотация: Представлена модель данных предметной области «Количественная спектроскопия», необходимая для построения информационной системы. В качестве языка описания использован XML. Основное внимание уделено характеристике сущностей и отношений, используемых в двух частях этой предметной области – «Вещество» и «Молекулярная спектроскопия». При спецификации семантики данных рассмотрены только конкретные свойства (Datatype) и ограничения на области их значений.

Аннотация:

В последние годы достижения в области искусственного интеллекта (ИИ) и машинного обучения обусловлены успехами в разработке больших языковых моделей (LLM) на основе глубоких нейронных сетей. В то же время, несмотря на существенные возможности, LLM имеет такие принципиальные ограничения, как спонтанная недостоверность в фактах и суждениях; допущение простых ошибок, диссонирующих с высокой компетентностью в целом; легковерие, проявляющееся в готовности принимать за истину заведомо ложные утверждения пользователя; отсутствие сведений о событиях, произошедших после завершения обучения.

Вероятно, ключевой причиной является то, что обучение биологического интеллекта происходит через усвоение неявных знаний воплощенной формой интеллекта, позволяющей решать интерактивные физические задачи реального мира. Биоинспирированные исследования нервных систем организмов позволяют рассматривать мозжечок, координирующий движения и поддерживающий равновесие, в качестве главного кандидата для раскрытия методов реализации воплощенного физического интеллекта. Его простая повторяющаяся структура и способность управлять сложными движениями дают надежду на возможность создания аналога адаптивным нейронным сетям.

В настоящей работе изучается биоинспирированная архитектура мозжечка как форма аналоговых вычислительных сетей, способная моделировать сложные физические системы реального мира. В качестве простого примера представлена реализация воплощенного ИИ в виде многокомпонентной модели щупальца осьминога, демонстрирующей потенциал в создании адаптивных физических систем, обучающихся и взаимодействующих с окружающей средой.

Аннотация:

Работа посвящена проблеме интеграции данных для представления научных предметных областей на основе их семантического описания в цифровой библиотеке SciLibRu. В качестве модели данных использованы онтология и граф знаний библиотеки LibMeta. Наполнение библиотеки SciLibRu осуществляется путем добавления данных научных журналов. Показано, как реализованы этапы анализа слабоструктурированных научных публикаций для их встраивания в онтологию библиотеки. При прохождении всех этапов предобработки данных формируется датасет, который может быть использован в обучении языковых моделей для запросов в русскоязычных научных предметных областях.

Приложение работы заключается в создании рекомендательных систем для работы с научными русскоязычными журналами.

Аннотация:

Агрегирование научной информации играет важную роль для комплексного анализа геологических объектов. В настоящей работе мы рассматриваем потенциал и возможности семантического поиска для выбора тематически близких геологических публикаций. Проанализированы различные языковые модели в контексте нахождения сходства и различия между текстами при описании месторождений полезных ископаемых. Показано значительное улучшение результатов поиска после дополнительной тренировки языковых моделей. Представлены два веб-сервиса, основанных на методе расчета семантической близости текстов с количественной оценкой меры близости.

Аннотация:

Рассмотрена возможность применения методов стилометрического анализа для поиска заимствований в текстах на татарском языке. Разработаны соответствующие инструменты, в которых использованы алгоритмы машинного обучения, включая кластеризацию (метод k-средних), классификацию (метод случайного леса, метод опорных векторов, наивный байесовский классификатор) и гибридный подход (модель FastText + логистическая регрессия). Особое внимание уделено адаптации лингвистических метрик для татарского языка.

Аннотация: Представлена технология автоматизированного построения онтологии предметной области на основе информации, извлекаемой из комментариев реляционных баз данных ПАО «Татнефть». Технология основана на построении конвертора (компилятора), транслирующего логическую модель данных Epicentre Petrotechnical Open Software Corporation (POSC), представленную в виде ER-диаграмм и набора описаний на объектно-ориентированном языке EXPRESS, в язык описания онтологий OWL, рекомендованный консорциумом W3C. Описаны основные синтаксические и семантические аспекты преобразования.