Аннотация:

Проведен анализ развития интеллектуальных систем в кредитных организациях (далее – Банках).

Предложен метод выстраивания сквозного управленческого учета в подразделении кредитной организации, специализирующегося на работе с непрофильными активами. На базе процессного подхода предложен алгоритм внедрения в работу подразделения базы данных для формирования ключевых индикаторов производительности и контроля.

Описаны ключевые этапы работы подразделения, атрибутный состав сущностей (множества), поступающих, обогащаемых и передаваемых на каждом этапе работы подразделения. Методом моделирования процесса выстроены ролевая модель, права доступа и редактирования для сотрудников. Предложены источники данных (справочники) для оптимизации и унификации процесса наполнения базы данных (кортежа). Предложен способ обращения к базе данных в надстройке Power Query Microsoft Excel, которая позволяет собирать данные из файлов всех основных типов данных, обрабатывать и дорабатывать полученные данные. На языке Python на основе данных построены математические и финансовые модели анализа данных (логистическая регрессия, дерево решений и метод дисконтированных денежных потоков) с целью прогнозирования расходов, сроков экспозиции активов и принятия решения об оптимальной стоимости постановки имущества на баланс Банка и цены реализации. На основе библиотек (matpotlib, seaborn, plotly) предложены варианты визуализации данных для менеджмента. На примере подразделения Банка описаны положительные эффекты и возможности, которые открываются перед менеджментом разного уровня в решении повседневных задач и планирования деятельности подразделения. Предложено техническое задание по разработке витрины реализации непрофильных активов на сайте Банка как среды накопления внешних данных для принятия гибких менеджерских решений.

Аннотация:

В настоящее время в машинном обучении высокую актуальность имеют синтетические данные. Современные алгоритмы генерации синтетических данных дают возможность генерации данных, очень близких по статистическим свойствам к исходным данным. Синтетические данные используются на практике в широком спектре задач, в том числе связанных с аугментацией данных.

Предложен метод аугментации данных, совмещающий подходы увеличения объема выборки с помощью синтетических данных и генерации синтетических аномалий. Метод использован для решения задачи в сфере информационной безопасности, заключающейся в поиске аномалий в журналах сервера с целью обнаружения атак.

Модель, обученная в рамках решения названной задачи, показала высокие результаты. Это демонстрирует эффективность использования синтетических данных для увеличения объема выборки и генерации аномалий, а также возможность с высокой результативностью использовать эти подходы совместно.

Аннотация:

Для поддержки адаптивного обучения и образовательной аналитики в интеллектуальных обучающих системах необходимо собирать и обрабатывать данные об успеваемости студентов и их индивидуальных характеристиках. Это можно реализовать с помощью модели студента. Анализ подходов к моделированию студента показал оптимальным применение нескольких типов моделей, исходя из требований, составленных для разрабатываемой обучающей системы. Были выбраны и объединены в одну модель три подхода: оверлейный, сеть Байеса, моделирование ошибочных знаний. Использование оверлейной модели позволяет строить индивидуальные траектории обучения студентов. Сети Байеса реализуют компетентностный подход в обучении. Модель ошибок отслеживает ошибочные знания студентов и помогает им исправить их на ранних стадиях. Модель студента, объединяющая в себе данные подходы, является подходящей для реализации персонализированного обучения, позволяет преподавателю отслеживать успеваемость студентов по различным характеристикам, а также дает возможность легко представить в системе карту тем, знаний, компетентности студентов в различных областях в виде графа, что является удобным и понятным представлением.

Аннотация:

Для определения наиболее эффективного подхода к решению задачи классификации эмоционального тона сообщения проведено обучение выбранных моделей нейронной сети на различных наборах обучающих данных. На основе такого показателя, как процентное соотношение правильно данных ответов на тестовом наборе данных, сравнены комбинации наборов обучающих данных и различных моделей, обученных на основе этих данных. Произведено обучение четырех моделей нейронной сети на трех различных наборах обучающих данных. В результате сравнения точности ответов каждой модели, обученной на разных обучающих данных, сделаны выводы о выборе модели нейронной сети, наиболее подходящей для решения поставленной задачи.

Аннотация: Задача устойчивости рассматривается в терминах классического определения Ляпунова. Для этого задается множество начальных условий, состоящих их данных предварительных расчетов, и анализируется разброс траекторий, полученных в результате численного моделирования. Эта процедура реализована как серия ансамблевых экспериментов с совместной моделью MPI-ESM института метеорологии М. Планка (Германия). Для численного моделирования задавалась серия различных начальных значений полей характеристик, и модель интегрировалась, начиная с каждого из этих полей, на различные временные периоды. Изучались экстремальные характеристики уровня океана за период 30 лет. Строилось их статистическое распределение, оценивались параметры этого распределения, изучался статистический прогноз на 5 лет вперед. Показано, что статистический прогноз уровня соответствует расчетному прогнозу, полученному по модели. Изучалась локализация экстремальных значений уровня и проводился анализ этих результатов. Численные расчеты выполнялись на суперкомпьютере Ломоносов-2 Московского государственного университета имени М.В. Ломоносова.

Аннотация:

Работа посвящена проблеме развития библиотеки научных предметных областей SciLibRu, как продолжения семантического описания научных трудов проекта LibMeta. В основе этой библиотеки лежит концептуальная модель данных, структура и семантика которой сформированы на принципах онтологического моделирования. Такой подход обеспечивает строгое описание предметной области, формализацию взаимосвязей между сущностями и возможность дальнейшего автоматизированного анализа данных. Целью настоящего исследования были разработка и экспериментальное применение методов структуризации содержимого научных журналов в формате LaTeX для их интеграции в онтологию библиотеки и обеспечения семантического поиска.

Предложен алгоритм трансляции в формат XML данных, представленных множеством файлов, для интеграции в онтологию библиотеки. Реализован модуль векторного поиска, основанный на вычислении эмбеддингов с использованием языковых моделей. Выявлены закономерности распределения эмбеддингов и факторы, влияющие на точность ранжирования результатов поиска. Проведено тестирование двух названых компонентов.

Разработанный метод составляет основу для автоматического включения содержимого научных журналов в граф знаний SciLibRu и создания обучающих корпусов для языковых моделей, ограниченных рамками научных предметных областей. Полученные результаты способствуют развитию систем навигации по графу знаний журналов, а также рекомендательных механизмов и инструментов интеллектуального поиска по русскоязычным научным текстам.

Аннотация:

В последние годы большие языковые модели (Large Language Models, LLM) достигли значительных успехов в области обработки естественного языка и стали ключевым инструментом для решения широкого спектра прикладных и исследовательских задач. Однако с ростом их масштабов и возможностей все более острой становится проблема галлюцинаций – генерации ложной, недостоверной или несуществующей информации, представленной в достоверной форме. В связи с этим вопросы анализа природы галлюцинаций и разработки методов их выявления приобретают особую научную и практическую значимость.

В работе изучен феномен галлюцинаций в больших языковых моделях, рассмотрены их существующая классификация и возможные причины. На базе модели Flan-T5 также исследованы различия внутренних состоянии модели при генерации галлюцинаций и верных ответов. На основе этих расхождений представлены два способа детектирования галлюцинаций: с помощью карт внимания и скрытых состояний модели. Эти методы протестированы на данных из бенчмарков HaluEval и Shroom 2024 в задачах суммаризации, ответов на вопросы, перефразирования, машинного перевода и генерации определений. Кроме того, исследована переносимость обученных детекторов между различными типами галлюцинаций, что позволило оценить универсальность предложенных методов для различных типов задач.

Аннотация:

Квантование стало ключевой техникой сжатия и ускорения больших языковых моделей (LLM). Несмотря на то, что исследования низкобитного квантования активно развиваются применительно к англоязычным LLM, его влияние на морфологически богатые и разнородные по ресурсам языки, включая русский, остается изученным значительно хуже. Поэтому требуются дополнительные исследования этого вопроса в связи с развитием высокоэффективных русскоязычных и многоязычных LLM.

Мы провели систематическое исследование квантования предобученных моделей в эффективные 2.0—4.25 бита на параметр для современных русскоязычных LLM различного масштаба от 4 до 32 млрд параметров (4 B и 32 B). Экспериментальная часть охватывает как стандартное равномерное квантование, так и специализированные низкобитные форматы. Полученные результаты выявили несколько ключевых тенденций: i) устойчивость русскоязычных LLM к квантованию варьируется в зависимости от архитектуры и размера модели; ii) 4-битное квантование демонстрирует высокую надежность, особенно при использовании продвинутых форматов; iii) 3-битное и 2-битное квантования оказались наиболее чувствительными к указанным калибровки. Полученные эмпирические данные демонстрируют необходимость учета домена модели при использовании различных методов квантования.

Аннотация:

Проблема прогнозирования досрочного отчисления студентов российских вузов является актуальной, поэтому требуется разработка новых инновационных подходов для её решения. Для решения данной проблемы возможна разработка предиктивных систем на основе использования данных о студентах, имеющихся в информационных системах вузов. В настоящей работе исследованы модели машинного обучения для прогнозирования досрочного отчисления студентов, обученные на основе данных о характеристиках и успеваемости студентов. Основная научная новизна работы заключается в использовании методов объяснимого ИИ для интерпретации и объяснения функционирования обученных моделей машинного обучения. Методы объяснимого искусственного интеллекта позволяют понять, какие из входных признаков (характеристик студента) оказывают наибольшее влияние на результаты прогнозов обученных моделей, а также могут помочь понять, почему модели принимают те или иные решения. Полученные результаты расширяют понимание влияния различных факторов на досрочное отчисление студентов.

Аннотация:

Предложены основы оригинальной теории квазивоспроизводимых экспериментов (КВЭ), основанной на проверяемой гипотезе о наличии существенной корреляции (памяти) между последовательными измерениями. На основе этой гипотезы, которую авторы для краткости определяют как верифицируемый принцип частичной корреляции (ВПЧК), можно доказать, что существует универсальная подгоночная функция (УПФ) для квазивоспроизводимых (КВ) измерений. Другими словами, существуют некая общая платформа или «мост», на котором, образно говоря, «встречаются» истинная теория (претендующая на описание данных из первых принципов или проверяемых моделей) и эксперимент, предлагающий эту теорию для проверки измеренных данных, максимально «очищенных» от влияния неконтролируемых факторов и аппаратно-программной функции. Фактически предлагаемая теория дает потенциальному исследователю способ очистки исходных данных и в конечном итоге предлагает подгоночную кривую, которая описывает данные, является периодической и очищенной от набора неконтролируемых факторов. Окончательная подгоночная кривая соответствует идеальному эксперименту.

Предложенная теория была проверена на вихревых ковариационных экологических данных по количеству/балансу CH₄, CO₂ и паров воды H₂O в атмосфере, где расположены соответствующие детекторы для измерения содержания искомых газов.

Для этих проверенных данных вихревой ковариации, связанных с наличием в атмосфере двух газов CH₄, CO₂ и паров H₂O, не существует простой гипотезы, содержащей минимальное число подгоночных параметров, и, следовательно, подгоночная функция, следующая из этой теории, может служить единственным и надежным средством количественного описания такого рода данных, принадлежащих сложной системе. Следует также отметить, что окончательная подгоночная функция, очищенная от неконтролируемых факторов, становится периодической и соответствует идеальному эксперименту.

Обсуждены приложения этой теории, ее место среди других альтернативных подходов (особенно затрагивающих профессиональные интересы экологов) и её дальнейшее развитие.

Аннотация:

В работе установлены ключевые темы в современных психологических исследованиях культурной конгруэнтности с использованием метода тематического цифрового моделирования массива научных публикаций.

Актуальность и значимость проведенного исследования обусловлены
ростом значимости культурной конгруэнтности в условиях цифровой трансформации общества, изменяющей способы социализации и взаимодействия. Современные технологии требуют переосмысления психологических механизмов адаптации индивида к культурной среде, особенно в детском и подростковом возрастах. Несмотря на активное изучение этого феномена, наблюдается очевидный недостаток исследований, посвященных культурной конгруэнтности взрослых. Применение цифрового моделирования и искусственного интеллекта позволяет систематизировать знания и выявить структуру тематического поля с высокой точностью. Полученные данные открывают перспективу для дальнейшего изучения культурной конгруэнтности в ходе онтогенеза.

Конструирование тематического поля исследований культурной конгруэнтности, основанный на анализе цифровых анналов, содержащих коллекцию научных публикаций по данной тематике (112 статей), был выполнен с использованием алгоритма тематического моделирования (topic modeling) на языке программирования Python и с применением цифровых платформ, включая инструменты на основе мультимодальных нейросетей (GigaChat, Qwen, DeepSeek). В результате проведенного анализа возрастных особенностей феномена культурной
конгруэнтности выделены четыре возрастные группы: дошкольники, младшие школьники, подростки и взрослые.

Аннотация: Описана эволюция моделей мышления в рамках решения задачи построения интеллектуальной вопросно-ответной системы для автоматизации обработки запросов пользователей на естественном языке, начиная от простой модели на основе деревьев решений и заканчивая полноценной моделью мышления, основанной на модели мышления человека Марвина Мински. Каждая модель разработана и протестирована. Приведены результаты экспериментов и сделаны выводы о состоятельности каждой из моделей.

Аннотация: В статье описана разрабатываемая информационно-вычислительная система для проведения научных исследований, связанных со статистическим анализом архивов пространственно-распределенных геофизических данных, полученных как в результате наблюдений, так и моделирования. В процессе реализации использовался накопленный опыт создания информационно-вычислительных веб-систем, обеспечивающих обработку больших массивов данных. Функциональные возможности существующей на данный момент версии системы включают в себя ряд процедур для оперативного математического и статистического анализа, а также визуализации данных, что позволяет оптимизировать выполнение типовых вычислительных задач. В качестве одного из приложений разрабатываемой системы были реализованы программные модули для анализа региональных особенностей динамики основных климатических характеристик и их взаимосвязей, а также для обеспечения графического представления результатов в виде графиков, диаграмм и полей на карте соответствующей территории с использованием Веб-ГИС технологий.

Аннотация: Представлена модель данных предметной области «Количественная спектроскопия», необходимая для построения информационной системы. В качестве языка описания использован XML. Основное внимание уделено характеристике сущностей и отношений, используемых в двух частях этой предметной области – «Вещество» и «Молекулярная спектроскопия». При спецификации семантики данных рассмотрены только конкретные свойства (Datatype) и ограничения на области их значений.

Аннотация:

Описана разработка на основе методов машинного обучения приложения для автоматического аннотирования веб-страниц по стандарту Microdata с возможностью расширения для других стандартов и с внедрением данных в JSX-файлы. Собраны и подготовлены датасеты для обучения моделей Machine Learning (ML). Собраны и проанализированы метрики модели ML.

Аннотация:

Представлен опыт верификации реализаций сервера криптографического протокола TLS версии 1.3. TLS – широко распространенный криптографический протокол, предназначенный для создания защищенных каналов передачи данных и обеспечивающий необходимую для этого функциональность: конфиденциальность передаваемых данных, целостность данных, аутентификацию сторон. Новая версия протокола TLS 1.3 была представлена в августе 2018 года и имеет ряд существенных отличий по сравнению с предыдущей версией 1.2. Ряд разработчиков протокола TLS уже включил поддержку последней версии в свои реализации. Данные обстоятельства делают актуальным проведение исследований в области верификации и безопасности реализаций новой версии протокола TLS. В работе использован новый тестовый набор для верификации реализаций протокола TLS 1.3 на соответствие спецификациям интернета, разработанный на основе спецификации RFC 8446 с использованием технологии UniTESK и методов мутационного тестирования. Текущая работа является частью проекта верификации протокола TLS 1.3 и охватывает часть дополнительной функциональности и необязательных расширений протокола.

Для тестирования реализаций на соответствие формальным спецификациям применена технология UniTESK, предоставляющая средства автоматизации тестирования на основе использования конечных автоматов. Состояния тестируемой системы задают состояния автомата, а тестовые воздействия – переходы этого автомата. При выполнении перехода заданное воздействие передается на тестируемую реализацию, после чего регистрируются реакции реализации и автоматически выносится вердикт о соответствии наблюдаемого поведения спецификации. Мутационные методы тестирования используются для обнаружения нестандартного поведения тестируемой системы с помощью передачи некорректных данных. В поток обмена протокола, создаваемый в соответствии со спецификацией, вносятся некоторые изменения: либо изменяются значения полей сообщений, сформированных на основе разработанной модели протокола, либо изменяется порядок сообщений в потоке обмена. Модель протокола позволяет вносить изменения в поток данных на любом этапе сетевого обмена, что позволяет тестовому сценарию проходить через все значимые состояния протокола и в каждом таком состоянии проводить тестирование реализации в соответствии с заданной программой. На данный момент было обнаружено несколько отклонений реализаций от спецификации.

Представленный подход доказал свою эффективность в нескольких наших проектах при тестировании сетевых протоколов, обеспечив обнаружение различных отклонений от спецификации и других ошибок.

Аннотация:

Представлен опыт верификации реализаций клиента криптографического протокола TLS версии 1.3. TLS сегодня является одним из наиболее востребованных криптографических протоколов, предназначенных для создания защищенных каналов передачи данных. Протокол обеспечивает необходимую для своих задач функциональность: конфиденциальность передаваемых данных, целостность данных, аутентификацию сторон. В новой версии протокола TLS 1.3 была существенно переработана архитектура, устранен ряд недостатков предыдущих версий, выявленных как при разработке реализаций, так и в процессе их эксплуатации.

В работе использован новый тестовый набор для верификации реализаций клиента протокола TLS 1.3 на соответствие спецификациям интернет, разработанный на основе спецификации RFC 8446 с использованием технологии UniTESK и методов мутационного тестирования. Для тестирования реализаций на соответствие формальным спецификациям применена технология UniTESK, предоставляющая средства автоматизации тестирования на основе использования конечных автоматов. Состояния тестируемой системы задают состояния автомата, а тестовые воздействия – переходы этого автомата. При выполнении перехода заданное воздействие передается на тестируемую реализацию, после чего регистрируются реакции реализации и автоматически выносится вердикт о соответствии наблюдаемого поведения спецификации. Мутационные методы тестирования используются для обнаружения нестандартного поведения тестируемой системы (завершение из-за фатальной ошибки, «подвисание», ошибки доступа к памяти) с помощью передачи некорректных данных, такие ситуации часто остаются за рамками требований спецификаций. В сообщения, сформированные на основе разработанной модели протокола, вносятся какие-либо изменения. Модель протокола дает возможность вносить изменения в поток данных на любом этапе сетевого обмена, что позволяет тестовому сценарию проходить через все значимые состояния протокола и в каждом таком состоянии проводить тестирование реализации в соответствие с заданной программой. Представленный подход доказал свою эффективность в нескольких наших проектах при тестировании сетевых протоколов, обеспечив обнаружение различных отклонений от спецификации и других ошибок. Текущая работа является частью проекта верификации протокола TLS 1.3 и охватывает реализации клиентской части протокола.

Аннотация: В настоящее время астрономия переживает взрывной рост объемов данных, получаемых в результате наблюдений и моделирования. Их эффективное хранение становится проблемой, сравнимой по важности с собственно анализом. В настоящей работе мы анализируем причины такого "информационного взрыва" и описываем цели и задачи, стоящие в связи с ним перед Виртуальной Обсерваторией, в первую очередь, разработки стандартов и технологий удаленного и программного доступа к данным. Также мы рассматриваем основные требования, предъявляемые к современной научной информации, такие, как воспроизводимость получаемых результатов, версионность, контролируемость ее происхождения. Очевидным способом долговременного надежного хранения информации являются системы управления базами данных (СУБД). Мы обсуждаем, насколько хорошо различные виды астрономической информации – каталоги, спектры, изображения, временные ряды, результаты симуляций и т. д. – совместимы с реляционной моделью, используемой в наиболее распространенных СУБД, и формулируем требования к специализированным системам, оптимальным для хранения и анализа научной информации.

Аннотация: При изучении природных и искусственных объектов с помощью спутниковых технологий важную роль играют спектральные данные, которые несут информацию о распределении отражающих/излучающих свойств физических объектов и материалов по длинам волн. Необходимо отметить, что оперативное получение необходимых спектральных данных из названных выше источников обычно является проблемой. В работе описан подход к построению банка спектральных данных с расширенными функциональными возможностями, позволяющими реализовывать не только справочно-поисковые процедуры, но и достаточно широкий круг расчетно-прикладных процедур относительно спектральных данных и их атрибутов. На основе системного анализа предметной области и реляционной модели предложена схема БД, реализованная средствами MS Access. Обоснована организационная структура БСД. Предложена простая схема интеграции БСД в е-Инфраструктуру непрерывного доступа к научным ресурсам ДЗЗ.

Аннотация:

По данным радиозондирования ионосферы коротковолновыми сигналами можно получить информацию о процессах в ионосферной плазме, ее структуре и состоянии; эти данные также крайне важны для радиотехнических систем, работающих в коротковолновом диапазоне. К настоящему моменту накоплен большой объем экспериментальных данных для различных гео- и гелиофизических, пространственных и временных условий. Интерес к большим массивам данных радиозондирования ионосферы мотивирован также возможностью построения статистических моделей методами машинного обучения. В работе представлены некоторые интернет-ресурсы с данными радиозондирования ионосферы, показаны перспективы их применения, а также обозначены некоторые проблемы, такие как недостаточная документированность части форматов данных и представление ионограмм только в виде растровых изображений, существенная часть из которых к тому же отсканирована с фотопленок.

Аннотация:

Охарактеризованы материалы, представленные на V международной конференции «Информационные технологии для наук о Земле и приложения для геологии, горной промышленности и экономики. ITES&MP-2019». Названная конференция описывает результаты последних лет в следующих областях:

• открытый доступ к научным данным в области наук о Земле; особенности данных в науках о Земле: новые концепции и методы, инструменты их сбора, интеграции и обработки в различных информационных системах, в том числе в системах с интенсивным использованием данных;


• анализ данных и математическое моделирование природных процессов в науках о Земле: новые подходы. Эволюция классических ГИС-приложений;


• применение информационных технологий в области металлогении критических полезных ископаемых;


• социальные аспекты горно-геологической отрасли;


• прогнозные построения в области геологической разведки и землепользования;


• интеллектуальный анализ данных, извлечение фактов и знаний из научных публикаций. Тезаурусы, онтологии, концептуальное моделирование. Семантический веб, связанные данные. Сервисы. Семантическое структурирование контента. Применение в науках о Земле;


• применение методов и технологий дистанционного зондирования в науках о Земле и горной промышленности: от спутников до беспилотных летательных аппаратов;


• информационные технологии для создания систем демонстрации и популяризации достижений в науках о Земле;


• приложения: прогноз месторождений, экологические риски, опасные природные явления, управление водными ресурсами, геотермальная энергия и др.

Аннотация: Статья посвящена проблемам интегрирования гетерогенных геопространственных данных при решении задач устойчивого развития территорий. Предложены концептуальные подходы к построению электронной инфраструктуры доступа к гетерогенной пространственной информации, проанализированы основные проблемы интегрирования разнородных данных, разработана модель интегрирования геопространственных данных на основе архитектуры SOA.

Аннотация:

Рассмотрена задача нахождения наиболее релевантных документов в результате расширенного и уточненного запроса. Для ее решения предложены модель поиска и механизм предварительной обработки текста, а также совместное использование поисковой системы и модели, построенной на основе индекса с помощью алгоритмов word2vec для генерации расширенного запроса с синонимами и уточнения результатов поиска на основе подбора похожих документов в цифровой семантической библиотеке. В работе исследуется построение векторного представления документов применительно к массиву данных цифровой семантической библиотеки LibMeta. Решалась задача обогащения пользовательских запросов синонимами. При построении модели поиска совместно с алгоритмами word2vec использован подход «сначала индексация, затем обучение», что позволяет получить более точные результаты поиска. Обучение модели проводилось на базе контента библиотеки для предметной области «Математика». Приведены примеры расширенного запроса с использованием синонимов.

Аннотация:

Рассмотрен процесс, при котором в социуме распространяется недостоверный слух, которому противодействует вещание средств массовой информации. Недостоверность слуха в данном случае понимается так, что информация СМИ содержит опровержение и тем самым инокулирует индивидов, то есть делает их невосприимчивыми к слуху. В то же время индивиды, успевшие принять слух, перестают доверять средствам массовой информации и тем самым становятся недоступными для переубеждения. Для данного процесса предложена математическая модель в двух вариантах. Вариант с непрерывным временем позволяет выявить некоторые математические свойства модели. Вариант с дискретным временем более удобен для анализа реальных процессов, так как позволяет оценить параметры модели. Для оценки этих параметров использованы данные о рейтингах основных социально-политических программ российских телеканалов. Приведено несколько сценарных расчетов модели с этими параметрами. Основной вывод состоит в том, что если информация, распространяемая средствами массовой информации, не является вирусной, то есть не пересказывается зрителями своим соседям по социуму, то СМИ оказываются не в состоянии противостоять слухам.

Аннотация:

Большие языковые модели (Large Language Models, LLM) прошли путь от простых N-граммных систем до современных универсальных архитектур, однако ключевым ограничением остается квадратичная сложность механизма самовнимания по длине входной последовательности. Это существенно увеличивает потребление памяти и вычислительных ресурсов, а с появлением задач, требующих рекордно длинных контекстов, создает необходимость разработки новых архитектурных решений. Поскольку для исследования предлагаемой архитектуры требуется длительное и дорогостоящее обучение полновесной сети, необходимо разработать инструмент, который позволял бы быстро дать предварительную оценку архитектуре с точки зрения внутренней памяти.

В настоящей работе предложен метод количественной оценки внутренней памяти нейросетевых архитектур на основе синтетических тестов, не требующих больших корпусов данных. Под внутренней памятью понимается объем информации, который модель способна воспроизвести без обращения к исходным входам.

Для верификации подхода разработан программный комплекс, апробированный на архитектурах GPT-2 и Mamba. Использованы задачи копирования, инверсии и извлечения значения по ключу. Проведенное сравнение по точности предсказаний, распределению ошибок и вычислительным затратам позволяет оперативно оценивать эффективность и перспективность архитектур LLM.