Рассмотрена проблема построения интерпретируемых векторных представлений научных текстов для задач интеллектуальной академической генеалогии. Предложена типология эмбеддингов, включающая три класса: статистические, выученные нейросетевые и структурированные символьные. Обоснована необходимость объединения достоинств нейросетевых (высокая семантическая точность) и символьных (интерпретируемость измерений) подходов. Для реализации такого гибридного подхода предложен алгоритм построения выученных символьных эмбеддингов путем регрессионного преобразования вектора внутреннего представления нейросетевой модели в интерпретируемый набор оценок.

Экспериментальная оценка алгоритма проведена на корпусе фрагментов авторефератов диссертаций по педагогическим наукам. Компактный трансформерный энкодер с регрессионной головой обучался воспроизводить тематические оценки, сгенерированные передовой генеративной языковой моделью. Сравнение шести режимов обучения (три типа регрессионной головы и два состояния энкодера) показало, что дообучение верхних слоев энкодера является ключевым фактором повышения качества. По результатам тестирования была выбрана наилучшая конфигурация, которая достигла коэффициента детерминации R² = 0.57 и точности определения трех наиболее релевантных концептов, равной 74%. Результаты подтверждают, что для определенного рода задач, в которых требуется формальное представление выходных данных, возможна аппроксимация поведения генеративной модели компактным энкодером с регрессионной головой при существенно меньших вычислительных затратах. В более широкой перспективе разработка алгоритмов построения выученных символьных эмбеддингов будет способствовать созданию такой модели формальной репрезентации научного знания, в которой конвергенция нейросетевых и символьных методов обеспечит как масштабируемость обработки научных текстов, так и интерпретируемость векторных представлений, кодирующих содержание.

Сердечно-сосудистые заболевания являются одной из основных причин смертности. Автоматический анализ электрокардиограмм (ЭКГ) может существенно облегчить работу врачей, но его эффективность ограничена нехваткой и несбалансированностью данных. Создание синтетических ЭКГ помогает частично решить эти проблемы. Хотя чаще всего для этого применяются генеративно-состязательные сети (GAN), но последние исследования показали, что вариационные автокодировщики (VAE) могут обеспечивать сопоставимое качество.

В работе представлена модель cNVAE-ECG — модификация Nouveau VAE (NVAE), способная генерировать 12 отведений 10-секундных ЭКГ с различными патологиями. Используя компактную схему работы с каналами и встроенные представления классов для условной генерации, cNVAE-ECG улучшает результаты в задачах бинарной и multi-label классификации, обеспечивая прирост метрики AUROC до 2% по сравнению с моделями на основе GAN. Модель представлена в открытом доступе: https://github.com/univanxx/cNVAE_ECG.

Работа посвящена сравнительному анализу качества автоматического распознавания стандартного русского языка и его дагестанского региолекта (дагестанского русского) – контактного идиома, формирующегося в условиях многоязычия Дагестана. Десять конфигураций ASR-систем (без дообучения), представляющих три архитектурных подхода (Conformer+RNNT, Conformer+CTC, Encoder-Decoder Transformer), протестированы на корпусах стандартного русского (GOLOS, RuDevices, примерно 20 и 90 тыс. высказываний) и дагестанского русского (DaGRuS, примерно 40 тыс. высказываний). Все модели демонстрируют падение метрики WER на 33–50% при переходе к дагестанскому русскому, что указывает на проблему сильного доменного сдвига. Анализ структуры ошибок выявил три основных механизма, вызывающих снижение WER: это русификация – систематическая замена дагестанских форм фонетически близкими стандартными русскими словами; удаление дискурсивных маркеров и OOV-лексики (этнонимов, топонимов); галлюцинации генеративных моделей на непонятных фрагментах. Установлено, что сквозные архитектуры-архитектуры деградируют слабее каскадных (33–35% против 40–42%), однако ни одна из моделей не достигает приемлемого качества (минимум WER около 43%). Сформулированы рекомендации для проектирования ASR-систем, устойчивых к региональной вариативности русского языка.

Распознавание эмоций в тексте является одной из актуальных задач обработки естественного языка. В работе исследовано влияние морфологической формы глагола на качество эмоциональной классификации моделями-энкодерами и выявлены факторы, определяющие морфологическую чувствительность языковых моделей. Для эксперимента использованы три модели (ruBERT-tiny2, ruBERT-base, ruRoBERTa-large), дообученные на объединенном корпусе из четырех русскоязычных датасетов (22852 примера). Каждая модель классифицировала 5676 морфологических форм 473 глаголов из Russian Emotion Lexicon. В результате зафиксировано систематическое влияние морфологии: различия в качестве классификации между формами по метрике F1 достигают 20–25% для всех моделей. Для объяснения установленных закономерностей был проведен анализ характеристик обучающих данных. Показано, что частотность морфологических форм в корпусе частично коррелирует с качеством классификации, однако не является единственным определяющим фактором. При анализе распределения эмоций по морфологическим формам выявлено, что в обучающем корпусе императив преимущественно встречается в контекстах с эмоцией «Радость». Однако глаголы класса «Грусть» в форме повелительного наклонения систематически классифицируются энкодерами как «Злость». Это расхождение между характеристиками обучающих данных и результатами классификации указывает на то, что императив в сочетании с семантикой грусти интерпретируется моделями как выражение агрессии, что свидетельствует о взаимодействии грамматической формы с семантикой глагола при определении эмоционального класса.

Статья посвящена описанию результатов экспериментов в области автоматического разрешения неоднозначности (англ. Word Sense Disambiguation, WSD) на материале русского языка при помощи генеративных (decoder-only) моделей малого и среднего размеров. Использование генеративных моделей напрямую не является оптимальным подходом к решению данной задачи, однако такие модели имеют потенциал в роли семантических разметчиков необработанных данных. Автоматизация семантической разметки текстов при помощи генеративных моделей потенциально способна преодолеть ограничивающий фактор в виде недостатка размеченных данных для обучения энкодеров.

Как показали более ранние исследования, флагманские англоязычные и мультиязычные модели способны достичь более 90%-ной аккуратности на данной задаче, модели меньшего размера – 80%+. Настоящее исследование ставит своей целью установить, решаема ли аналогичная задача на материале русского языка с помощью русифицированных моделей малого и среднего размеров (до 32 B), не требующих большого количества вычислительных ресурсов для использования.

Эксперименты по разрешению неоднозначности проведены как в базовой постановке (one/few-shot prompting), так и в различных модификациях (обогащение контекста словарной информацией – гиперонимами, гипонимами, метками тематической области и т. д., анализ широкого и узкого контекстных окон неоднозначной лексемы, ансамблевые подходы, в которых одна модель валидирует и корректирует предсказания другой). В качестве материала исследования использован русскоязычный размеченный ресурс RuSemCor, семантическая разметка которого соответствует категориям семантической сети RuWordNet.

По результатам экспериментов модели показали себя пригодными для решаемой задачи: все модели выходят за уровень случайного предсказания, а наиболее мощные достигают 80%-ной аккуратности, что сопоставимо с результатами англоязычных моделей того же размера. Более информативным для моделей показал себя широкий контекст неоднозначной лексемы. Подходы с дообогащением входных данных и ансамблевые методы дали значительный прирост в качестве.

Сталь в наши дни является одним из важнейших производственных материалов, который используется повсеместно, от медицины до промышленных отраслей. Своевременное обнаружение и распознавание дефектов на стальных листах после проката – одна из ключевых проблем этого производства с учетом его сложности и необходимости затрат большого количества времени на проведение вручную проверок каждого листа и каждой заготовки. Одними из целей настоящей работы были автоматизация и упрощение данного процесса. Для решения соответствующих задач была использована, в первую очередь, модель сверточной нейронной сети под названием UNet, которая уже зарекомендовала себя как отличный инструмент решения таких задач — при высокой результативности она требует меньшего количества учебных данных. В основе этой модели лежат последовательная, производимая в несколько шагов свертка изображения до приемлемого размера (иными словами, сжатие или кодирование), а затем развертка, восстановление изображения к исходному размеру и соотношению сторон, после чего на выходе будет получена маска изображения с классами элементов, которые необходимо было найти. В дополнение к этой нейронной сети в качестве кодирующего (сворачивающего) слоя была использована другая модель — ResNet34, предварительно обученная на датасете (наборе данных) ImageNet1000. В этой модели также был модифицирован выходной слой — вместо 34 слоев с классами на выходе возвращалось лишь 4, что сократило время обработки и позволило использовать наиболее удачные определения в результатах. Используя данный подход и проведя все необходимые проверки, при подведении итогов, мы получили результат в 94,8% точности определения дефектов на стальных листах.

Исследована задача построения отображения между спайковой активностью сверточной спайковой нейронной сети и классом входного изображения. Такая задача появляется после обучения сети без учителя: сверточный слой формирует событийное представление изображения, но сама сеть не содержит готового механизма выдачи метки класса. В работе проведена проверка, насколько информативны счетчики спайков сверточного слоя после обучения по правилу STDP (пластичность, зависящая от времени возникновения импульсов, – биологически правдоподобное правило обучения для импульсных (спайковых) нейронных сетей), и оценено качество линейного считывающего классификатора при увеличении числа обучающих предъявлений.

Эксперименты проведены на наборе MNIST – стандартном наборе изображений рукописных цифр. Использована однослойная архитектура: один сверточный слой с 32 картами признаков, ядром 5 × 5 и выходной размерностью 32 × 24 × 24, что соответствует 18432 нейронам LIF (модель «интегратор с утечкой и порогом»). Входные изображения кодировались детерминированным пуассоновским кодировщиком; мультипликатор пуассоновского кодирования был равен 0.006. Длительность предъявления (время демонстрации объекта сети) составляла 100 тактов. Обучение выполнялось по правилу STDP с нуля, без возобновления из ранее сохраненного состояния. Для оценки использовался протокол сбора счетчиков спайков на 10000 обучающих и 10000 тестовых изображениях.

В основном эксперименте при 15000 обучающих предъявлениях STDP достигнута точность 0.8883. Базовый способ по карте меток, близкий к методу Diehl и Cook, в той же конфигурации дал около 0,48. Покрытие калиброванной карты меток составило 219 из 18432 нейронов, средняя активность – 4146.9416 спайка на изображение. Соседняя точка масштаба при 10000 обучающих предъявлениях дала точность 0.8876. Полученные результаты показывают, что выбранный способ считывания активности существенно влияет на итоговое качество классификации: линейный считывающий классификатор по полному вектору счетчиков сети извлекает распределенную информацию, которая теряется при простом назначении меток отдельным нейронам.

Рассмотрена проблема координации разнородных программных средств в гетерогенных средах распределенного запуска приложений. Ручное конфигурирование параметров запуска для вновь устанавливаемых программ на вычислительный кластер (таких как ключи командной строки, значения переменных окружения и настройки конфигурационных файлов) создает серьезные трудности для исследователей предметных областей из-за больших объемов служебной информации и необходимости сохранения и агрегации информации в некотором фиксированном формате. Предложен метод автоматизированного извлечения параметров запуска, базирующийся на гибридной архитектуре обучения нейронной сети, сочетающей генерацию обучающей выборки большими языковыми моделями и последующее дообучение компактного трансформерного энкодера. Реализация подхода исключает зависимость от дорогостоящих графических ускорителей за счет применения методики низкоранговой адаптации (Low-Rank Adaptation) для моделей размером до 1 млрд параметров, что обеспечивает возможность выполнения модели (инференса) на обычных центральных процессорах управляющих узлов. Для формализации качества извлечения разработана двухкомпонентная метрика, агрегирующая структурную корректность выходной JSON-схемы (наличие в полученных данных обязательных полей, типов параметров программы) и семантическую точность значений параметров (соответствие описания в документации). Экспериментальная оценка метода ориентирована на корпус документации программных пакетов (man-страницы, README). Результаты проектирования подтверждают возможность аппроксимации процесса анализа документации компактной моделью, что способствует автоматизации жизненного цикла развертывания программного обеспечения и снижению ошибок управления потоками задач в распределенных вычислительных комплексах.

В поисках путей развития медицинского искусственного интеллекта показано, что предварительно обученный Vision Transformer с линейным классификатором может достигать высокой и конкурентоспособной производительности в классификации эндоскопических изображений. Представлен систематический послойный анализ, который выявляет источник наиболее важных признаков, оспаривая общепринятую эвристику использования только последнего слоя. Установлен отчетливый феномен «пика перед концом», когда поздне-промежуточный слой предлагает более обобщаемое представление для последующей медицинской задачи. На стандартных наборах данных Kvasir и HyperKvasir предложенный подход с малым количеством параметров не только получить достаточно высокую точность, но и значительно сокращает вычислительные затраты. Полученные работы могут быть рекомендованы в качестве практического руководства по эффективному использованию признаков общих базовых моделей в клинических условиях.

Представлен новый подход к контролируемой генерации лиц, использующий генеративные модели с открытым исходным кодом, включая StyleGAN2 и Гребневую регрессию. Разработана методология, расширяющая возможности StyleGAN2 для контроля характеристик лиц, таких как возраст, раса, пол, выражение лица и атрибуты волос, а также использован обширный набор данных человеческих лиц с аннотациями атрибутов. Лица закодированы в 256-мерном латентном пространстве с использованием кодировщика StyleGAN2, что привело к набору характерных латентных кодов. Применен алгоритм t-SNE для кластеризации этих кодов на основе признаков, продемонстрирована возможность контроля генерации лиц, впоследствии обучены модели регрессии Риджа для каждого измерения латентных кодов с использованием размеченных признаков. При декодировании с использованием StyleGAN2 полученные коды успешно восстанавливали изображения лиц, сохраняя связь с входными признаками. Разработанный подход дает легкий и эффективный способ контролируемой генерации лиц с использованием существующих генеративных моделей, таких как StyleGAN2, и открывает новые возможности для различных областей применения.