Работа посвящена проблеме применения онтологического подхода при построении датасета для оценки и сравнения систем обогащения контекста большой языковой модели с использованием графов знаний в доменной области машиностроительных систем полного жизненного цикла. В доменной области сложно получить необходимое количество текстовых данных с формальной логической структурой для формирования оценочного набора без использования сгенерированных синтетических данных. Для исключения внесения искажений и галлюцинаций при формировании оценочного набора предложено оригинальное решение проблемы дефицита данных за счет извлечения онтологии непосредственно из файлов изделий и сборок, соответствующих стандарту STandard for Exchange of Product model data что потенциально позволяет использовать все данные об изделиях как источник для масштабирования оценочных данных. Целью работы стали создание датасета структурированных текстовых данных в доменной области машиностроительных систем полного жизненного цикла, разработка методики оценки и реализация конвейеров обогащения контекста большой языковой модели с применением и без применения графов знаний для анализа вклада систем с извлечением структуры данных в качество генерируемых ответов. Предложен новый источник оценочных данных, разработана новая методика формирования текстовых оценочных данных с сохранением логической структуры, реализован конвейер для использования сгенерированных оценочных данных. Получены результаты оценки, подтверждающие положительный вклад систем с извлечением структурированных данных в качество генерируемых ответов в доменной области машиностроительных систем полного жизненного цикла.

Работа посвящена исследованию квантованных подходов к адаптации языковых моделей для задачи автоматической пошаговой проверки корректности хода решения квадратных уравнений. Рассмотрена результативность подходов параметрически эффективного дообучения (PEFT) при адаптации языковых моделей DeepSeek-R1-Distill-Qwen-1.5B и InternLM2-Math-Plus-1.8B для создания математического верификатора (Process-supervised Reward Models, PRM). Эксперименты проведены на синтетическом наборе данных квадратных уравнений, дополненном негативным сэмплированием для имитации ошибок обучающихся. Выполнено сравнительное тестирование стандартных (LoRA, DoRA, rsLoRA) и квантованных (QLoRA, QDoRA, LoftQ) алгоритмов тонкой настройки.
Дополнительно изучена обобщающая способность нейросетей (Zero-shot Transfer) на структурно отличающемся наборе линейных уравнений. Результаты показали, что квантование решает проблемы численной стабильности вычислений для нестандартных архитектур (InternLM2), обеспечивая при этом качество, сопоставимое со стандартными методами. Для модели DeepSeek-R1 метод QLoRA достиг точности (Accuracy) 97.77%, а методы QDoRA и LoftQ – по 98%, что лишь незначительно уступает классическому алгоритму LoRA (98.67%). Аналогично для нестандартной архитектуры InternLM2 применение QLoRA позволило достичь точности 92.67% (против 93% у базового LoRA). Однако алгоритмы без понижения разрядности весов (LoRA) склонны сохранять более богатое представление выученных паттернов, обеспечивая хорошую способность к переносу знаний для моделей класса Reasoning (Accuracy DeepSeek-R1 66.8% против 61.4% у QLoRA на новых данных).

Квантование стало ключевой техникой сжатия и ускорения больших языковых моделей (LLM). Несмотря на то, что исследования низкобитного квантования активно развиваются применительно к англоязычным LLM, его влияние на морфологически богатые и разнородные по ресурсам языки, включая русский, остается изученным значительно хуже. Поэтому требуются дополнительные исследования этого вопроса в связи с развитием высокоэффективных русскоязычных и многоязычных LLM.

Мы провели систематическое исследование квантования предобученных моделей в эффективные 2.0—4.25 бита на параметр для современных русскоязычных LLM различного масштаба от 4 до 32 млрд параметров (4 B и 32 B). Экспериментальная часть охватывает как стандартное равномерное квантование, так и специализированные низкобитные форматы. Полученные результаты выявили несколько ключевых тенденций: i) устойчивость русскоязычных LLM к квантованию варьируется в зависимости от архитектуры и размера модели; ii) 4-битное квантование демонстрирует высокую надежность, особенно при использовании продвинутых форматов; iii) 3-битное и 2-битное квантования оказались наиболее чувствительными к указанным калибровки. Полученные эмпирические данные демонстрируют необходимость учета домена модели при использовании различных методов квантования.

В условиях цифровой трансформации организаций и роста объемов данных появляется запрос на более прозрачные и объяснимые подходы к оценке сотрудников. Цель проведенного исследования состояла в проектировании и верификации онтологической модели (OWL 2/SHACL), которая интегрирует когнитивные показатели и социологические характеристики работников в единое пространство знаний для поддержки HR (Human Resources)-процессов – процессор управления человеческими ресурсами. Научная новизна работы заключается в разработке единой семантической модели, связывающей данные когнитивных тестов, опросников, контекста труда и показателей результативности; в формулировании компетентностных вопросов, запускающих механизм вывода в графе знаний; и в разработке паттернов для прогнозирования дефицитов компетенций, выявления риска перегрузки/выгорания с контролем этики и недискриминации. Предлагаемый подход опирается на методологии инженерии онтологий – METHONTOLOGY и NeOn, концепции семантического веба и методы психометрики.

Рассмотрена проблема координации разнородных программных средств в гетерогенных средах распределенного запуска приложений. Ручное конфигурирование параметров запуска для вновь устанавливаемых программ на вычислительный кластер (таких как ключи командной строки, значения переменных окружения и настройки конфигурационных файлов) создает серьезные трудности для исследователей предметных областей из-за больших объемов служебной информации и необходимости сохранения и агрегации информации в некотором фиксированном формате. Предложен метод автоматизированного извлечения параметров запуска, базирующийся на гибридной архитектуре обучения нейронной сети, сочетающей генерацию обучающей выборки большими языковыми моделями и последующее дообучение компактного трансформерного энкодера. Реализация подхода исключает зависимость от дорогостоящих графических ускорителей за счет применения методики низкоранговой адаптации (Low-Rank Adaptation) для моделей размером до 1 млрд параметров, что обеспечивает возможность выполнения модели (инференса) на обычных центральных процессорах управляющих узлов. Для формализации качества извлечения разработана двухкомпонентная метрика, агрегирующая структурную корректность выходной JSON-схемы (наличие в полученных данных обязательных полей, типов параметров программы) и семантическую точность значений параметров (соответствие описания в документации). Экспериментальная оценка метода ориентирована на корпус документации программных пакетов (man-страницы, README). Результаты проектирования подтверждают возможность аппроксимации процесса анализа документации компактной моделью, что способствует автоматизации жизненного цикла развертывания программного обеспечения и снижению ошибок управления потоками задач в распределенных вычислительных комплексах.

Исследованы две модификации рекуррентных нейронных сетей: сети с долгой краткосрочной памятью и сети с управляемым рекуррентным блоком с добавлением механизма внимания к обеим сетям, а также модель Transformer в задаче генерации запросов к поисковым системам. В качестве модели Transformer использована модель GPT-2 от OpenAI, которая обучалась на запросах пользователей. Проведен латентно-семантический анализ для определения семантических сходств между корпусом пользовательских запросов и запросов, генерируемых нейронными сетями. Для проведения анализа корпус был переведен в формат bag of words, к нему применена модель TFIDF, проведено сингулярное разложение. Семантическое сходство вычислялось на основе косинусной меры. Также для более полной оценки применимости моделей к задаче был проведен экспертный анализ для оценки связности слов в искусственно созданных запросах.

Предложен подход к прогнозированию показателя качества распознавания речи Word Error Rate (WER) на основе акустических характеристик сигнала и вычисления перплексии языковых моделей. Предлагаемый метод включает в себя создание разнообразных наборов аудиоданных путем применения различных типов акустических искажений к чистым речевым образцам на различных уровнях качества и разборчивости. В отличие от предыдущих работ, извлекается и анализируется полный набор речевых признаков: прогнозирование значения отношения сигнал/шум (signal-to-noise ratio, SNR), нейросетевые метрики качества звука (NISQA и др.), метрики уверенности модели распознавания речи, а также перплексия текста гипотезы ASR по языковой модели в качестве дополнительного признака для обучения единой модели прогнозирования WER.

Проведены эксперименты с использованием современных архитектур распознавания речи для демонстрации эффективности предлагаемого метода в прогнозировании WER в различных акустических условиях. Показано, что включение перплексии существенно повышает качество прогноза WER, в частности для данных, где акустические признаки слабо коррелируют с ошибками распознавания. Результаты применимы для автоматической оценки ожидаемого качества распознавания речи и фильтрации аудиовходов.

Представлены решения проблемы распознавания усталости человека по изображению его лица. Сначала рассмотрены уже существующие алгоритмы, а затем предложена и реализована модель собственной архитектуры. В заключении приведены итоговые показатели работы модели.

Исследована задача построения отображения между спайковой активностью сверточной спайковой нейронной сети и классом входного изображения. Такая задача появляется после обучения сети без учителя: сверточный слой формирует событийное представление изображения, но сама сеть не содержит готового механизма выдачи метки класса. В работе проведена проверка, насколько информативны счетчики спайков сверточного слоя после обучения по правилу STDP (пластичность, зависящая от времени возникновения импульсов, – биологически правдоподобное правило обучения для импульсных (спайковых) нейронных сетей), и оценено качество линейного считывающего классификатора при увеличении числа обучающих предъявлений.

Эксперименты проведены на наборе MNIST – стандартном наборе изображений рукописных цифр. Использована однослойная архитектура: один сверточный слой с 32 картами признаков, ядром 5 × 5 и выходной размерностью 32 × 24 × 24, что соответствует 18432 нейронам LIF (модель «интегратор с утечкой и порогом»). Входные изображения кодировались детерминированным пуассоновским кодировщиком; мультипликатор пуассоновского кодирования был равен 0.006. Длительность предъявления (время демонстрации объекта сети) составляла 100 тактов. Обучение выполнялось по правилу STDP с нуля, без возобновления из ранее сохраненного состояния. Для оценки использовался протокол сбора счетчиков спайков на 10000 обучающих и 10000 тестовых изображениях.

В основном эксперименте при 15000 обучающих предъявлениях STDP достигнута точность 0.8883. Базовый способ по карте меток, близкий к методу Diehl и Cook, в той же конфигурации дал около 0,48. Покрытие калиброванной карты меток составило 219 из 18432 нейронов, средняя активность – 4146.9416 спайка на изображение. Соседняя точка масштаба при 10000 обучающих предъявлениях дала точность 0.8876. Полученные результаты показывают, что выбранный способ считывания активности существенно влияет на итоговое качество классификации: линейный считывающий классификатор по полному вектору счетчиков сети извлекает распределенную информацию, которая теряется при простом назначении меток отдельным нейронам.

Представлен алгоритм системы визуального восприятия для игровых агентов, реализованный в игровом движке Unity. Предложенный метод основан на сравнении изображений с двух камер, учитывающих сложные визуальные эффекты (освещение, тени, маскировку), и дополнен проверкой прямой видимости, учетом скорости движения объекта и механикой постепенного обнаружения. Алгоритм оптимизирован с применением асинхронных вычислений, динамической активации камер и ускоренных алгоритмов. Выполнено тестирование системы при различных уровнях нагрузки, сделаны выводы об условиях, оптимальных для работы алгоритма. Проведен также анализ научной литературы по схожим решениям, выявлены их сильные и слабые стороны. Результаты могут быть применены в разработке видеоигр для создания реалистичного поведения неигровых персонажей, особенно в играх с элементами скрытности.

Рассмотрены ключевые проблемы преподавания функционального программирования обучаемым, уже знакомым с императивной парадигмой. Описаны модель обучаемого и основные сложности, возникающие при преподавании функционального программирования в этом случае (изменяемые переменные, циклы, последовательные вычисления). Приведен развернутый пример перехода от императивной к функциональной парадигме. Подробно рассмотрен возврат функционального значения на примерах численного дифференцирования и интерполяции. Рассмотрена реализация отложенных вычислений, основанная на анонимных функциях. Показано, что использование мультипарадигменного языка Lisp удобно для первого знакомства с функциональной парадигмой. 

Большие языковые модели (Large Language Models, LLM) прошли путь от простых N-граммных систем до современных универсальных архитектур, однако ключевым ограничением остается квадратичная сложность механизма самовнимания по длине входной последовательности. Это существенно увеличивает потребление памяти и вычислительных ресурсов, а с появлением задач, требующих рекордно длинных контекстов, создает необходимость разработки новых архитектурных решений. Поскольку для исследования предлагаемой архитектуры требуется длительное и дорогостоящее обучение полновесной сети, необходимо разработать инструмент, который позволял бы быстро дать предварительную оценку архитектуре с точки зрения внутренней памяти.

В настоящей работе предложен метод количественной оценки внутренней памяти нейросетевых архитектур на основе синтетических тестов, не требующих больших корпусов данных. Под внутренней памятью понимается объем информации, который модель способна воспроизвести без обращения к исходным входам.

Для верификации подхода разработан программный комплекс, апробированный на архитектурах GPT-2 и Mamba. Использованы задачи копирования, инверсии и извлечения значения по ключу. Проведенное сравнение по точности предсказаний, распределению ошибок и вычислительным затратам позволяет оперативно оценивать эффективность и перспективность архитектур LLM.

Обобщен ранее разработанный конвейер обогащения новостных статей структурированными метаданными и представлена его обновленная конфигурация, в которой GPT-3 (Generative Pre-trained Transformer 3) – языковая модель от компании OpenAI – заменен на открытую модель Qwen-Coder. Новая версия, как и ранее, использует набор из 400 страниц, отобранных через Google News, и остается совместимой с Google Rich Results Test. Эксперименты показали, что качество, сопоставимое с GPT-3, достижимо при локальном запуске на типовом офисном настольном компьютере (CPU, без GPU). Установлено, что замена, указанная выше, снижает зависимость от платных облачных сервисов и обеспечивает более высокую производительность по сравнению с GPT-версией; дана оценка сходства результатов обогащения для Qwen-Coder относительно базовой реализации на GPT-3. Предложенные инструменты снижают порог внедрения семантической разметки и расширяют ее практическое применение, в том числе в цифровой журналистике.