В работе рассмотрено представление семантической структуры производных слов в языковых моделях, учитывающее внутрисловные синтагматические отношения между словообразовательными морфемами. Эксперименты проводились с привлечением морфемных моделей НейроКРЯ, а также моделей fastText и ruRoBERTa. Проверена гипотеза о композициональности производных слов, представляемых в виде агрегированных векторов морфем, а также выполнено сравнение представлений семантических отношений с помощью морфемных векторов fastText и стандартных векторов подслов в модели ruRoBERTa. Полученные результаты указывают на умеренную чувствительность векторов fastText к синтагматическим связям между морфемами и словообразовательным типам. Установлено также что агрегация морфемных векторов в fastText улучшает регистрацию семантических отношений между словами, связанными словообразовательными отношениями, по сравнению с агрегацией векторов подслов в модели ruRoBERTa.

Стандартные токенизаторы BPE (Byte-Pair Encoding) и WordPiece, применяемые в моделях семейства Transformer, являются слабоинтерпретируемыми в отношении языковых данных, поскольку в них сегменты слов не всегда соответствуют морфемам. Исследовательская проблема состоит в необходимости оценки того, в какой мере современные языковые модели способны регистрировать лингвистические признаки, характеризующие отношения производных слов в словообразовательных гнездах.

В работе оценена способность предсказывающих моделей распределенных векторных вложений воспроизводить синтагматические связи между морфемами внутри производных слов и на уровне словообразовательных гнезд в русском языке.

Полученные результаты стимулируют разработку нейросетевых архитектур, учитывающих синтагматические отношения между морфемами, совершенствование морфемных токенизаторов и их интеграцию в языковые модели.

Рассмотрено применение векторных моделей для предварительного анализа ответов студентов, сформулированных в свободной форме. Векторные представления слов и документов получены при помощи моделей word2vec, doc2vec, BERT. Сходство ответа, данного обучающимся, и корректного ответа определялось с использованием косинусной меры. Выявлено, что векторные модели позволяют определить явно неверные ответы с достаточной точностью. Для ответов, которые близки по формулировке, предлагается провести дополнительный этап проверки. При помощи word2vec выполнена двоичная классификация ответов на определенные вопросы, приведены оценки точности, полноты, F1-меры.

Рассмотрена проблема построения интерпретируемых векторных представлений научных текстов для задач интеллектуальной академической генеалогии. Предложена типология эмбеддингов, включающая три класса: статистические, выученные нейросетевые и структурированные символьные. Обоснована необходимость объединения достоинств нейросетевых (высокая семантическая точность) и символьных (интерпретируемость измерений) подходов. Для реализации такого гибридного подхода предложен алгоритм построения выученных символьных эмбеддингов путем регрессионного преобразования вектора внутреннего представления нейросетевой модели в интерпретируемый набор оценок.

Экспериментальная оценка алгоритма проведена на корпусе фрагментов авторефератов диссертаций по педагогическим наукам. Компактный трансформерный энкодер с регрессионной головой обучался воспроизводить тематические оценки, сгенерированные передовой генеративной языковой моделью. Сравнение шести режимов обучения (три типа регрессионной головы и два состояния энкодера) показало, что дообучение верхних слоев энкодера является ключевым фактором повышения качества. По результатам тестирования была выбрана наилучшая конфигурация, которая достигла коэффициента детерминации R² = 0.57 и точности определения трех наиболее релевантных концептов, равной 74%. Результаты подтверждают, что для определенного рода задач, в которых требуется формальное представление выходных данных, возможна аппроксимация поведения генеративной модели компактным энкодером с регрессионной головой при существенно меньших вычислительных затратах. В более широкой перспективе разработка алгоритмов построения выученных символьных эмбеддингов будет способствовать созданию такой модели формальной репрезентации научного знания, в которой конвергенция нейросетевых и символьных методов обеспечит как масштабируемость обработки научных текстов, так и интерпретируемость векторных представлений, кодирующих содержание.

Рассмотрена задача нахождения наиболее релевантных документов в результате расширенного и уточненного запроса. Для ее решения предложены модель поиска и механизм предварительной обработки текста, а также совместное использование поисковой системы и модели, построенной на основе индекса с помощью алгоритмов word2vec для генерации расширенного запроса с синонимами и уточнения результатов поиска на основе подбора похожих документов в цифровой семантической библиотеке. В работе исследуется построение векторного представления документов применительно к массиву данных цифровой семантической библиотеки LibMeta. Решалась задача обогащения пользовательских запросов синонимами. При построении модели поиска совместно с алгоритмами word2vec использован подход «сначала индексация, затем обучение», что позволяет получить более точные результаты поиска. Обучение модели проводилось на базе контента библиотеки для предметной области «Математика». Приведены примеры расширенного запроса с использованием синонимов.

Работа посвящена проблеме развития библиотеки научных предметных областей SciLibRu, как продолжения семантического описания научных трудов проекта LibMeta. В основе этой библиотеки лежит концептуальная модель данных, структура и семантика которой сформированы на принципах онтологического моделирования. Такой подход обеспечивает строгое описание предметной области, формализацию взаимосвязей между сущностями и возможность дальнейшего автоматизированного анализа данных. Целью настоящего исследования были разработка и экспериментальное применение методов структуризации содержимого научных журналов в формате LaTeX для их интеграции в онтологию библиотеки и обеспечения семантического поиска.

Предложен алгоритм трансляции в формат XML данных, представленных множеством файлов, для интеграции в онтологию библиотеки. Реализован модуль векторного поиска, основанный на вычислении эмбеддингов с использованием языковых моделей. Выявлены закономерности распределения эмбеддингов и факторы, влияющие на точность ранжирования результатов поиска. Проведено тестирование двух названых компонентов.

Разработанный метод составляет основу для автоматического включения содержимого научных журналов в граф знаний SciLibRu и создания обучающих корпусов для языковых моделей, ограниченных рамками научных предметных областей. Полученные результаты способствуют развитию систем навигации по графу знаний журналов, а также рекомендательных механизмов и инструментов интеллектуального поиска по русскоязычным научным текстам.

Проектирование учебных планов в условиях динамики образовательных стандартов смещается от статичного набора дисциплин к системному моделированию. Этот подход должен учитывать многоуровневые взаимосвязи и логику формирования сквозных компетенций. Целью исследования являются создание и апробация методического инструментария для анализа образовательных программ вузов на основе методов сетевого анализа. Учебный план формализован в виде неориентированного графа, где вершинами выступают дисциплины, а ребрами – связи через общие компетенции. В работе применен многоаспектный сетевой анализ, включающий расчет мер центральности: степени связности, посредничества, близости к другим узлам, степени влиятельности – и ключевых топологических метрик: плотности, модулярности, диаметра и коэффициента кластеризации. Эмпирическую базу составили данные учебных планов трех вузов города Омска. Проведенный анализ выявил существенные структурно-топологические различия в архитектуре образовательных программ, обусловленные их ведомственной принадлежностью и целевыми моделями подготовки. Сетевые метрики позволяют количественно оценить междисциплинарную связность и модульность программ, что недоступно для традиционных подходов. Полученные результаты подтверждают высокий диагностический потенциал сетевого анализа для обоснованной оптимизации учебных планов и верификации соответствия профессиональным компетенциям.

Исследована задача построения отображения между спайковой активностью сверточной спайковой нейронной сети и классом входного изображения. Такая задача появляется после обучения сети без учителя: сверточный слой формирует событийное представление изображения, но сама сеть не содержит готового механизма выдачи метки класса. В работе проведена проверка, насколько информативны счетчики спайков сверточного слоя после обучения по правилу STDP (пластичность, зависящая от времени возникновения импульсов, – биологически правдоподобное правило обучения для импульсных (спайковых) нейронных сетей), и оценено качество линейного считывающего классификатора при увеличении числа обучающих предъявлений.

Эксперименты проведены на наборе MNIST – стандартном наборе изображений рукописных цифр. Использована однослойная архитектура: один сверточный слой с 32 картами признаков, ядром 5 × 5 и выходной размерностью 32 × 24 × 24, что соответствует 18432 нейронам LIF (модель «интегратор с утечкой и порогом»). Входные изображения кодировались детерминированным пуассоновским кодировщиком; мультипликатор пуассоновского кодирования был равен 0.006. Длительность предъявления (время демонстрации объекта сети) составляла 100 тактов. Обучение выполнялось по правилу STDP с нуля, без возобновления из ранее сохраненного состояния. Для оценки использовался протокол сбора счетчиков спайков на 10000 обучающих и 10000 тестовых изображениях.

В основном эксперименте при 15000 обучающих предъявлениях STDP достигнута точность 0.8883. Базовый способ по карте меток, близкий к методу Diehl и Cook, в той же конфигурации дал около 0,48. Покрытие калиброванной карты меток составило 219 из 18432 нейронов, средняя активность – 4146.9416 спайка на изображение. Соседняя точка масштаба при 10000 обучающих предъявлениях дала точность 0.8876. Полученные результаты показывают, что выбранный способ считывания активности существенно влияет на итоговое качество классификации: линейный считывающий классификатор по полному вектору счетчиков сети извлекает распределенную информацию, которая теряется при простом назначении меток отдельным нейронам.

В статье предложена новая система для генерации стеганографического текста, скрывающая двоичные сообщения в семантически связном естественном языке с помощью скрытого пространства, обусловливающего большие языковые модели (LLM). Секретные сообщения сначала кодируются в непрерывные векторы с помощью обученного отображения двоичного кода в скрытое пространство, которое используется для управления генерацией текста посредством донастройки префикса. В отличие от предыдущих методов стеганографии на уровне токенов или синтаксиса, наш метод позволяет избежать явной манипуляции словами и вместо этого работает полностью в скрытом семантическом пространстве, что обеспечивает более плавные и менее заметные результаты. На стороне получателя скрытое представление восстанавливается из сгенерированного текста и декодируется обратно в исходное сообщение.
В качестве ключевого теоретического вклада мы предоставляем гарантию надежности: если восстановленный скрытый вектор находится в пределах ограниченного расстояния от изначального, обеспечивается точное восстановление сообщения, причем граница определяется константой Липшица декодера и минимальным отступом логитов. Этот формальный результат предлагает принципиальный подход к компромиссу между надежностью и емкостью в скрытых стеганографических системах. Эмпирическая оценка как на синтетических данных, так и в практических предметных областях, таких как отзывы на Amazon, показывает, что наш метод достигает высокой точности восстановления сообщений (выше 91%), высокую плавность текста и конкурентоспособную емкость до 6 бит на элемент предложения, сохраняя при этом устойчивость к нейронному стегоанализу. Эти результаты демонстрируют, что генерация со скрытым условием предлагает безопасный и практичный путь для встраивания информации в современные LLM.

Рассмотрена возможность применения методов стилометрического анализа для поиска заимствований в текстах на татарском языке. Разработаны соответствующие инструменты, в которых использованы алгоритмы машинного обучения, включая кластеризацию (метод k-средних), классификацию (метод случайного леса, метод опорных векторов, наивный байесовский классификатор) и гибридный подход (модель FastText + логистическая регрессия). Особое внимание уделено адаптации лингвистических метрик для татарского языка.