Аннотация:

Рассмотрена проблема координации разнородных программных средств в гетерогенных средах распределенного запуска приложений. Ручное конфигурирование параметров запуска для вновь устанавливаемых программ на вычислительный кластер (таких как ключи командной строки, значения переменных окружения и настройки конфигурационных файлов) создает серьезные трудности для исследователей предметных областей из-за больших объемов служебной информации и необходимости сохранения и агрегации информации в некотором фиксированном формате. Предложен метод автоматизированного извлечения параметров запуска, базирующийся на гибридной архитектуре обучения нейронной сети, сочетающей генерацию обучающей выборки большими языковыми моделями и последующее дообучение компактного трансформерного энкодера. Реализация подхода исключает зависимость от дорогостоящих графических ускорителей за счет применения методики низкоранговой адаптации (Low-Rank Adaptation) для моделей размером до 1 млрд параметров, что обеспечивает возможность выполнения модели (инференса) на обычных центральных процессорах управляющих узлов. Для формализации качества извлечения разработана двухкомпонентная метрика, агрегирующая структурную корректность выходной JSON-схемы (наличие в полученных данных обязательных полей, типов параметров программы) и семантическую точность значений параметров (соответствие описания в документации). Экспериментальная оценка метода ориентирована на корпус документации программных пакетов (man-страницы, README). Результаты проектирования подтверждают возможность аппроксимации процесса анализа документации компактной моделью, что способствует автоматизации жизненного цикла развертывания программного обеспечения и снижению ошибок управления потоками задач в распределенных вычислительных комплексах.

Аннотация:

Исследована обратная задача идентификации безразмерного коэффициента теплопроводности  для уравнения Грина – Нагди III типа, которое описывает распространение тепловых возмущений с конечной скоростью и учитывает инерционные эффекты теплового потока. Для обратной задачи нарушается требование устойчивости (критерий Адамара), в результате чего даже минимальные искажения данных ведут к значительным ошибкам идентификации параметра.
В качестве метода решения задачи идентификации использован подход на основе физически информированных нейронных сетей (ФИНС), сочетающий возможности глубокого обучения с априорными знаниями о структуре дифференциального уравнения. Параметр  включен в число обучаемых переменных, а функция потерь сформирована на основе дифференциального уравнения, граничных условий, начальных условий и зашумленных экспериментальных данных с точечного датчика. Представлены результаты вычислительных экспериментов, демонстрирующие высокую точность восстановления параметра (погрешность менее 0.03%) и устойчивость метода к наличию аддитивного гауссовского шума в данных. Метод ФИНС показал себя как эффективный инструмент решения некорректных обратных задач математической физики.

Аннотация:

Рассмотрен процесс, при котором в социуме распространяется недостоверный слух, которому противодействует вещание средств массовой информации. Недостоверность слуха в данном случае понимается так, что информация СМИ содержит опровержение и тем самым инокулирует индивидов, то есть делает их невосприимчивыми к слуху. В то же время индивиды, успевшие принять слух, перестают доверять средствам массовой информации и тем самым становятся недоступными для переубеждения. Для данного процесса предложена математическая модель в двух вариантах. Вариант с непрерывным временем позволяет выявить некоторые математические свойства модели. Вариант с дискретным временем более удобен для анализа реальных процессов, так как позволяет оценить параметры модели. Для оценки этих параметров использованы данные о рейтингах основных социально-политических программ российских телеканалов. Приведено несколько сценарных расчетов модели с этими параметрами. Основной вывод состоит в том, что если информация, распространяемая средствами массовой информации, не является вирусной, то есть не пересказывается зрителями своим соседям по социуму, то СМИ оказываются не в состоянии противостоять слухам.

Аннотация:

Предложен нечеткий регулятор вычисления параметров скользящего окна для подготовки обучающих данных больших языковых моделей. Традиционный подход задает параметры «шаг окна» и «длина контекста» фиксированными константами, одинаковыми для всего текста, и не учитывает такие лингвистические характеристики отдельных фрагментов, как насыщенный научный текст и монотонный повторяющийся текст. Предлагаемый метод использует два автоматически вычисляемых признака фрагмента – лексическое разнообразие и среднюю длину BPE-токена. На основе алгоритма Мамдани с базой из 9 нечетко-логических правил и дефаззификацией методом центра тяжести нечеткий регулятор адаптивно вычисляет значения параметров «шаг окна» и «длина контекста» для каждого фрагмента. Предложенный подход имеет когнитивную интерпретацию, поскольку воспроизводит механизм адаптивного внимания человека при чтении, например, сложные фрагменты обрабатываются более внимательно при малом размере шага.

Аннотация:

Рассмотрена задача интеграции когнитивного и математического моделирования в исследованиях направлений развития топливно-энергетического комплекса с учетом требований энергетической безопасности. Актуальность работы обусловлена тем, что в существующей двухуровневой технологии исследований переход от результатов качественного анализа с помощью когнитивного моделирования к параметрам математической модели в значительной степени выполняется вручную, что снижает воспроизводимость численных экспериментов и ограничивает эффективность использования накопленных знаний. Цель проведенного исследования состояла в разработке программного компонента, обеспечивающего совместное использование когнитивной и математической моделей в составе Экосистемы знаний в энергетике. Предложен программный компонент, реализованный в составе комплекса ИНТЭК-SAW и обеспечивающий преобразование изменений когнитивной модели в параметры экономико-математической модели, а также обратную интерпретацию результатов расчетов. Разработана технология проведения численного эксперимента, включающая построение семантических (онтологической и когнитивной) моделей, формирование вычислительного сценария, выполнение оптимизационных расчетов и представление результатов, отличающаяся автоматизацией совместного использования онтологических, когнитивных и экономико-математических моделей. Для учета неопределенности предложен численный метод стохастической корректировки параметров на основе когнитивных весов. Работоспособность подхода продемонстрирована на численном эксперименте по исследованию влияния ограничений выбросов CO₂ на топливно-энергетические балансы Сибирского федерального округа. Практическая значимость работы состоит в повышении обоснованности и воспроизводимости исследований развития топливно-энергетического комплекса за счет согласованного использования средств качественного и количественного анализа.

Аннотация:

Предложен метод адаптивного управления параметрами скользящего окна больших языковых моделей на основе нечеткого вывода Мамдани с дефаззификацией по быстродействующему методу отношения площадей (MAR-II). Управляющими переменными являются индекс лексического разнообразия (TTR) и средняя длина BPE-токена (ATL), интерпретируемые как измеримые корреляты когнитивной нагрузки текстового фрагмента. Нечеткий регулятор на основе девяти правил вырабатывает шаг скользящего окна (stride) и длину контекста (max_length). Проведено сравнение MAR-II с методом центра тяжести (CoG) на сетке 25 × 25 точек входного пространства (RMSE по stride 99.9 токена, по max_length 147.4 токена). Показано, что MAR-II обеспечивает аддитивность нечеткой модели и устраняет систематические ошибки CoG при времени вычисления одного нечеткого вывода около 35 нс на ПЛИС Xilinx Spartan 3E.

Аннотация:

Представлены результаты исследований параллельных приложений для гетерогенных архитектур с использованием стандарта SYCL и его реализации DPC++, а также технологии OpenMP, разработанные студентами кафедры прикладной математики и искусственного интеллекта (ПМИИ) ФГБОУ ВО «НИУ «МЭИ» в ходе выполнения научно-исследовательских работ. В качестве прикладной задачи рассмотрен поиск кратчайших путей в графах различной размерности с использованием алгоритмов Беллмана-Форда и дельта-шага.

Алгоритм Беллмана – Форда легко поддается распараллеливанию и продемонстрировал отличную масштабируемость. Для алгоритма дельта-шага, напротив, использование GPU не дало заметного ускорения из-за сложности согласования памяти и необходимости многократного копирования данных между устройствами.

Тестирование проводилось с использованием следующих аппаратных средств: центральный процессор Intel Core i5-12400F (6 ядер, 12 потоков), графический процессор NVIDIA GeForce GTX1660 (1408 CUDA-ядер). Результаты тестирования показывают, что даже в рамках одной вычислительной задачи различные реализации могут демонстрировать разное поведение при изменении параметров задачи. Это подтверждает важность предварительного анализа и тестирования при выборе аппаратно-программной архитектуры для задач, требующих высокой производительности.

Разработанный комплекс программ визуализирует зависимость ускорения параллельных реализаций алгоритма от числа вершин в графе при различных параметрах метода и успешно используется в учебно-научном процессе кафедры ПМИИ ФГБОУ ВО «НИУ «МЭИ».

Аннотация:

Проанализированы данные наблюдений 1979–2018 гг. в районе Северной Атлантики, полученные в результате реализации проекта Российской академии наук по исследованию атмосферы в Северной Атлантике (РАН-НААД). Набор данных предоставляет множество параметров поверхности и свободной атмосферы на основе сигма-модели и отвечает многим требованиям метеорологов, климатологов и океанографов, работающих как в исследовательской, так и в оперативной областях. Проведен анализ сезонной и многолетней изменчивости тепловых потоков и температуры поверхности воды в Северной Атлантике. В качестве основного метода исследования использованы схемы анализа диффузионных процессов. На основе заданных рядов длиной в 40 лет с 1979 по 2018 годы вычислены такие параметры диффузионных процессов, как среднее (снос процесса) и дисперсия (диффузия процесса) и построены их карты и временные кривые. Численные расчеты выполнены на суперкомпьютере Ломоносов-2 Московского государственного университета имени М.В. Ломоносова.

Аннотация:

Автоматизация проверки информационной модели здания на соответствие нормам пожарной безопасности остается актуальной задачей для архитектурно‑строительной отрасли. Существующие системы такой автоматизированной проверки ориентированы на подходы, основанные на правилах, которые не учитывают топологический контекст здания и плохо адаптируются к новым проектам.

В работе предложены и экспериментально проверены методы прогнозирования параметров противопожарной защиты дверей в информационных моделях зданий с использованием графовых нейронных сетей, а также валидация подхода на реальных проектных данных семи жилых зданий крупного застройщика. Предложена методология прогнозирования класса огнестойкости дверей на основе реляционных графовых сверточных сетей, а также разработан пайплайн извлечения данных из специального формата с построением графа и формированием признаков с учетом геометрических, семантических и топологических характеристик. Проведены эксперименты по прогнозированию наличия и класса огнестойкости с кросс-проектной валидацией по принципу «одно здание вне выборки». Разработанный подход позволяет автоматизировать проверку параметров противопожарной защиты и сократить время анализа моделей зданий. Применение графовых нейронных сетей обеспечивает учет топологического контекста и высокую точность прогнозирования, а использование реальных данных подтверждает практическую применимость метода.

Аннотация: Обсуждены некоторые недостатки гауссовой гуманизации и рассмотрены вопросы о том, каким образом модели артикуляции, проявляемые ударниками, можно эмулировать с помощью вероятностной модели. Разработан авторский алгоритм «оживления» midi-партий ударных музыкальных инструментов. Запрограммированы различные зависимости и закономерности, проявляющиеся при игре на барабанах. Создана зависимость параметров нот не только от параметров предыдущих нот, но и от последующих нот соответствующих частей ударной установки. Создана зависимость силы удара от положения ноты в такте. Таким образом, акцентируя ноты в сильной доле, была создана зависимость громкости ноты от совпадения с нотами других частей ударной установки. Для увеличения динамичности и живости партии было реализовано нарастание громкости хэта перед ударом по малому барабану. Проведено сравнение амплитуд соответствующих нот партий, насколько партия, оживленная с использованием определенного метода, отличается от партии, сыгранной профессиональным барабанщиком. При прослушивании тестов партии, обработанные с использованием модифицированного метода, объективно имеют больше общего с живым исполнением, чем с результатом, полученным при использовании гауссового метода или квантованных партий.

Аннотация:

Современные программные и аппаратные средства предоставляют беспрецедентную свободу для разнообразной деятельности на форекс-рынках, от трейдинга до анализа дееспособности моделей нелинейных процессов в самоорганизующихся системах. Для снижения рисков и увеличения эффективности взаимодействия с инструментами фондовых рынков предлагается обеспечить вариабельную адаптивность трейдинга посредством комбинирования торговых стратегий с использованием множества торговых счетов различных торговых площадок, разнообразных финансовых инструментов и Комплексных Индикаторов Тенденций изменения цен. В результате трёхлетней экспериментальной работы сформулированы и апробированы основные принципы мультитрейдинга и скомпонована информационная среда, способствующая разработке индивидуализированной торговой системы. Базовая концепция организации инфосреды мультитрейдинга: применение специализированных аппаратно-программных комплексов для стратегического анализа и прогноза изменения цен отдельного финансового инструмента, тактического выбора перспективного финансового инструмента из доступного набора и операционной деятельности с ордерами торговых счетов. Можно ожидать, что эволюция принципов мультитрейдинга приведёт к созданию аналитических систем прогнозирования кинетики неравновесного изменения характеристических параметров самоорганизующихся кооперативных систем для широкого применения в биологии, кибернетике, экономике и социальной сфере.   

Аннотация:

Предложен подход к поддержке многокритериальных решений на основе когнитивно-ориентированной мультиагентной информационно-аналитической системы. Разработаны методы когнитивного моделирования, включающие формально-онтологическое представление знаний о планировании работ и коалиционно-холоническую агентную архитектуру, а также обеспечивающие адаптивность и прозрачность вычислений. Предложен гибридный эволюционно-многокритериальный алгоритм, в рамках которого агенты генерируют альтернативные планы с помощью параллельного генетического алгоритма на локальном уровне, оптимизирующего сочетание нескольких критериев. На глобальном уровне реализован многоэтапный отбор альтернатив с фильтрацией перегрузок ресурсов и подобных решений, а также финальное агрегирование с использованием многокритериальных методов принятия решений PROMETHEE и ELECTRE.

Проведено экспериментальное исследование, сравнивающее эффективность планирования вручную и с помощью разработанной системы, а также анализ влияния динамической адаптации параметров генетического алгоритма. Полученные результаты показали, что применение системы позволяет сократить время формирования плана в 20–30 раз при сопоставимом или лучшем качестве. При этом полностью устраняются перегрузки исполнителей и обеспечивается раннее прекращение эволюционных расчетов без потери качества решений. Разработанная система и предложенные алгоритмы ориентированы на использование при планировании проектной деятельности на производственных предприятиях.

Аннотация:

Описан процесс автоматизации управления операцией чтения связанных данных из реляционных и нереляционных баз данных.

Разработанный программный инструмент основан на использовании стандарта JPA (Java Persistence API), который определяет возможности контроля жизненного цикла сущностей в Java-приложениях. Спроектирована архитектура встраивания в событийные процессы, позволяющая интегрировать решение в проекты вне зависимости от используемой реализации JPA. Реализована поддержка различных стратегий загрузки данных, типов и параметров отношений. Осуществлена оценка производительности инструмента.

Аннотация:

Для синтаксического анализа естественного языка перспективным направлением является дообучение больших языковых моделей для генерации синтаксической структуры предложения в виде скобочной последовательности формата Grammatical Relation Centered Tree (GRCT). Существующие дообученные модели демонстрируют высокие значения метрик оценки качества синтаксического анализа, однако в некоторых случаях генерируют некорректную скобочную последовательность (например, с несбалансированным числом открывающих и закрывающих скобок). В работе разработан метод, позволяющий уменьшить количество некорректно сгенерированых последовательностей. Для этого создана многоэтапная система ограничений субтокенов, генерируемых на каждом этапе работы большой языковой модели. Реализация этого метода протестирована на 4 моделях (адаптированные и неадаптированные модели размерами 4 и 8 млрд параметров) на датасете деревьев зависимостей SynTagRus. Для всех моделей количество некорректно сгенерированных последовательностей уменьшилось. Дополнительно установлено, что такие ограничения на генерацию влияют на качество собственно синтаксического анализа (может происходить повышение или понижение метрик оценки качества синтаксического анализа). Реализованная система ограничений может быть использована для повышения надежности работы любой большой языковой модели, дообученной для синтаксического анализа в формате скобочной последовательности GRCT. Полученные результаты опубликованы в открытом доступе.

Аннотация: В настоящее время происходит активное внедрение наукометрических систем для автоматизации процесса анализа эффективности деятельности научных организаций с целью применения различных методов стимулирования научной деятельности. Одними из наиболее важных индикаторов являются количество публикаций и их цитируемость. Для оценки этих показателей необходимы средства автоматизированного построения связей между оригинальными статьями и их переводами. В настоящей работе проанализированы существующие методы оценки близости оригинального текста и его возможного перевода, показана их недостаточная эффективность для построения связей между статьями и описаня разработанный авторами метод автоматического поиска переводов статей в больших коллекциях библиографических данных. Особенностью разработанного алгоритма является использование статистических данных о публикации статей в различных журналах и информации о соавторах анализируемых статей. Представленный в настоящей работе алгоритм позволяет осуществлять поиск переводов статей без предварительной настройки на заданные пары языков оригинала и перевода статьи, а также не требует использования больших коллекций обучающих выборок. Апробация программной реализации алгоритма проводилась в наукометрической системе Московского государственного университета (МГУ) им. М.В. Ломоносова. Результаты тестирования показали ее достаточную эффективность и возможность использования разработанного алгоритма для автоматического построения рекомендаций пользователям для отметки в системе переводных версий статей.

Аннотация:

Представлены основные методы численного моделирования (конечных разностей, конечных элементов, Монте-Карло, Рунге–Кутты). Рассмотрены основные параметры, используемые для оптимизации алгоритмов численного моделирования с точки зрения длительности выполнения кода и эффективного использования ресурсов процессора. Проанализированы основные недостатки многопоточности, связанные с синхронизацией данных, дедлоками и состояниями гонки и методы их устранения на основе применения мьютексов и атомарных операций на примере метода Монте-Карло.

Аннотация:

В поисках путей развития медицинского искусственного интеллекта показано, что предварительно обученный Vision Transformer с линейным классификатором может достигать высокой и конкурентоспособной производительности в классификации эндоскопических изображений. Представлен систематический послойный анализ, который выявляет источник наиболее важных признаков, оспаривая общепринятую эвристику использования только последнего слоя. Установлен отчетливый феномен «пика перед концом», когда поздне-промежуточный слой предлагает более обобщаемое представление для последующей медицинской задачи. На стандартных наборах данных Kvasir и HyperKvasir предложенный подход с малым количеством параметров не только получить достаточно высокую точность, но и значительно сокращает вычислительные затраты. Полученные работы могут быть рекомендованы в качестве практического руководства по эффективному использованию признаков общих базовых моделей в клинических условиях.

Аннотация:

В условиях перехода образовательных систем на дистанционное обучение, а также развития тренда на удалённую работу, возникла острая потребность в разработке надежных технологий биометрической идентификации и аутентификации для верификации исполнителей работ в режиме удаленной работы. Такие технологии позволяют обеспечить высокую степень защиты и удобство использования, что делает вопросы их разработки и оптимизации крайне важными.

Проблема заключается в необходимости повышения точности и эффективности систем распознавания движений манипулятора «мышь» без использования специализированных устройств в максимально короткий промежуток времени. Для ее решения требуется эффективная предобработка таких движений, чтобы упростить их траектории, сохранив при этом их ключевые особенности.

В статье предложено использование алгоритма Дугласа–Пеккера для предварительной обработки данных траекторий движений «мыши». Этот алгоритм позволяет значительно уменьшить количество точек в траекториях, упрощая их при сохранении основной формы движений. Данные с упрощенными траекториями затем используются для обучения нейронных сетей.

Экспериментальная часть работы показала, что применение алгоритма Дугласа–Пеккера позволяет сократить количество точек в траекториях на 60%, что приводит к увеличению точности распознавания движений с 70% до 82%. Такое упрощение данных способствует ускорению процесса обучения нейронных сетей и повышению их операционной эффективности.

Проведенное исследование подтвердило эффективность использования алгоритма Дугласа–Пеккера для предварительной обработки данных в задачах распознавания движений «мыши». Полученные результаты могут найти применение в разработке более интуитивно понятных и адаптивных пользовательских интерфейсов.

Предложены также направления для дальнейших исследований, включая оптимизацию параметров алгоритма для различных типов движений и исследование возможности его комбинирования с другими методами машинного обучения.

Аннотация: Статья посвящена проблеме формирования культуры мышления учащихся. Отмечено, что формирование культуры мышления учащихся взаимосвязано с процессом становления и развития метапредметных действий, а уровень сформированности познавательных умений характеризует сформированность культуры мышления учащихся. Показано решение на примере организации обучения функциональной содержательной линии, интегрированной с заданиями с параметрами.

Аннотация:

Исследована эффективность моделей ImageNet diffusion model и CLIP для генерации изображений по текстовому описанию. С использованием различных текстовых вводов на разных параметрах проведены два эксперимента для определения лучших параметров при генерации изображений на основе текстового описания. Результаты показали, что, хотя ImageNet хорошо справляется с созданием изображений, CLIP лучше обеспечивает соединение текстовых подсказок с релевантными изображениями. Полученные результаты характеризуют высокий потенциал объединения названных моделей для создания высококачественных и контекстно релевантных изображений на основе текстового описания.

Аннотация:

Рассмотрены особенности и методика применения генеративно-состязательных нейронных сетей (Generative adversarial networks, GAN) для синтеза ионограмм радиозондирования ионосферы в контексте построения статистической модели ионосферы. Предложена специфика наклонного радиозондирования ионосферы, показаны природа данных и их физический смысл. Данные представляют собой конфигурации сеансов радиозондирования, характеристики среды и ионограммы. Описана методика предобработки исходных данных для формирования обучающего корпуса. Приведена общая организация условных GAN, используемых в задачах генерации изображений. Рассмотрены ключевые модификации этого устройства применительно к синтезу ионограмм и схематично продемонстрирована архитектура. Выделены особенности выбора функции потерь, обусловленные знаниями о физическом смысле ионограммы. Как следствие, сформирована составная функция потерь, сочетающая ответ дискриминатора и эвристику. Приведены примеры полученных результатов. Обсуждены проблемы текущей реализации и поставлены задачи дальнейших исследований.

Аннотация:

Проведен статистический и временной анализ сезонной и многолетней изменчивости поля атмосферного давления в Арктическом регионе России. В качестве основного метода исследования использованы схемы частотных характеристик вероятностей переходов при построении диффузионных процессов, описывающих изменчивость полей давления. На основе заданных рядов длиной в 60 лет с 1948 по 2008 годы вычислялись такие параметры диффузионных процессов, как среднее (снос процесса) и дисперсия (диффузия процесса), и строились их карты и временные кривые. Изучена сезонная и многолетняя изменчивость полученных полей, а также их зависимость от интервалов и величины разбиения. Эти характеристики проанализированы, и проведена их геофизическая интерпретация. В частности, выявлены известные циклы солнечной активности в 11 и 22 года, а также известный из литературы квазидвухлетний период. Численное моделирование выполнено на суперкомпьютере Ломоносов‑2 Московского государственного университета имени М.В. Ломоносова.

Аннотация:

Исследован спектральный состав микросейсмического шума за несколько часов до умеренных и сильных сейсмических событий. Рассмотрены 40 землетрясений с энергетическим классом К = 9.5–14.5 на эпицентральных расстояниях от 10 до 120 км. Установлено статистически значимое повышение спектральной плотности мощности (СПМ) в диапазоне 0.8–2.4 Гц. Методами машинного обучения построена модель бинарной классификации, позволяющая по значениям СПМ микросейсм в указанном диапазоне частот определить процессы подготовки землетрясений за несколько часов до толчка.

Аннотация:

Представлен программный комплекс, который позволит специалистам в области архитектурной акустики выбрать наиболее подходящие способы моделирования звука и подбора отделочных материалов в зависимости от поставленных задач и параметров помещения. Отличительной особенностью данной системы является наличие онтологии предметной области, описывающей термины и связи между понятиями, а также модулей для решения различных задач в области архитектурной акустики. Подобный подход позволит рекомендовать пользователю наиболее подходящие для его запроса методы моделирования вследствие учета специфики помещения и функциональных требований клиента. Программная система позволит по запросу оптимизировать и распараллелить программы, которые написаны с помощью предметно-ориентированного языка программирования.

Описаны принципы анализа программного кода для выявления участков экономии и применения трансформаций, представленных в банке паттернов. Рассмотрен также подход к построению предметно-ориентированного языка программирования, основанного на онтологии предметной области ODSL (Ontology-Based Domain-Specific Language) и позволяющего специалистам описывать алгоритмы, не вникая в используемые методы оптимизации и распараллеливания. Новизна работы заключается в предложенной архитектуре модулей, основанных на прикладной онтологии, что позволяет адаптировать решение под другие предметные области.

Аннотация:

Работа посвящена исследованию квантованных подходов к адаптации языковых моделей для задачи автоматической пошаговой проверки корректности хода решения квадратных уравнений. Рассмотрена результативность подходов параметрически эффективного дообучения (PEFT) при адаптации языковых моделей DeepSeek-R1-Distill-Qwen-1.5B и InternLM2-Math-Plus-1.8B для создания математического верификатора (Process-supervised Reward Models, PRM). Эксперименты проведены на синтетическом наборе данных квадратных уравнений, дополненном негативным сэмплированием для имитации ошибок обучающихся. Выполнено сравнительное тестирование стандартных (LoRA, DoRA, rsLoRA) и квантованных (QLoRA, QDoRA, LoftQ) алгоритмов тонкой настройки.
Дополнительно изучена обобщающая способность нейросетей (Zero-shot Transfer) на структурно отличающемся наборе линейных уравнений. Результаты показали, что квантование решает проблемы численной стабильности вычислений для нестандартных архитектур (InternLM2), обеспечивая при этом качество, сопоставимое со стандартными методами. Для модели DeepSeek-R1 метод QLoRA достиг точности (Accuracy) 97.77%, а методы QDoRA и LoftQ – по 98%, что лишь незначительно уступает классическому алгоритму LoRA (98.67%). Аналогично для нестандартной архитектуры InternLM2 применение QLoRA позволило достичь точности 92.67% (против 93% у базового LoRA). Однако алгоритмы без понижения разрядности весов (LoRA) склонны сохранять более богатое представление выученных паттернов, обеспечивая хорошую способность к переносу знаний для моделей класса Reasoning (Accuracy DeepSeek-R1 66.8% против 61.4% у QLoRA на новых данных).