Аннотация:

Актуальность вопросов анализа значимости научных публикаций обусловлена тем, что с появлением интернет-технологий стал возможен сбор данных о сети цитирования публикаций. Между тем, существующий сегодня подход к анализу значимости научных публикаций базируется на библиометрических показателях, учитывающих только количество цитирований. Однако все более широкое применение начинает получать сетевой анализ, применяемый преимущественно в исследованиях социальных сетей. Автором разработана методика, позволяющая осуществить эффективный анализ значимости научных публикаций, которая основана на методах сетевого анализа, альтернативных библиометрическим методам. В качестве критериев оценки значимости научных публикаций, основанных на сетевом анализе, установлены релевантные меры центральности узлов сети цитирования: центральность по степени связности; близости к другим узлам; посредничеству; авторитетности; концентрации. Приведен результат эксперимента, позволивший продемонстрировать адекватность разработанной методики анализа научных публикаций на основе сетевых метрик. В качестве первичных источников данных о публикациях использованы наукометрические базы данных, позволяющие отслеживать цитируемость публикаций и выявлять соответствующие сети цитирования. Применение предложенной методики способствует выявлению важных публикаций в развитии соответствующих научных направлений.

Аннотация:

С появлением науки о сетях стало возможным исследовать сложные сетевые системы, в том числе социальные и информационные, посредством представления их в виде графовых моделей. Рост в геометрической прогрессии общего объема научных публикаций обуславливает актуальность задач анализа их взаимосвязей. В науке о сетях для решения данных задач разрабатываются модели и методы, относящиеся к сфере так называемых сетей цитирования. Однако сетевые метрики не используются при анализе публикаций в базах цитирования.

В работе рассмотрены вопросы создания системы поддержки принятия решений при выборе источников информации на основе данных о цитировании научных публикаций. Разработан программный комплекс для принятия решений по определению важности публикации в определенной тематической области. В основу работы этого программного комплекса заложен метод ранжирования публикаций по важности на основе анализа сетей цитирования, позволяющий выявить публикации, которые явно не выделяются в чистом виде при ранжировании на основе известных библиометрических показателей или известных мер центральности узлов. Проведены исследование и сравнительный анализ программного обеспечения для визуализации и исследования всех видов графов и социальных сетей. Выполнены исследования, подтверждающие эффективность предлагаемой системы поддержки принятия решений при выборе источников информации.

Аннотация: Экспоненциальный рост размеров таких графов, как социальные сети, интернет-графы и др., требует новых подходов к их визуализации. Наряду с представлениями типа «диаграммы связей вершин» все чаще используются визуализации матриц смежностей, а также разнообразные комбинации этих представлений. В данном обзоре рассмотрены новые подходы к визуализации графов большого объема при помощи матриц смежностей и приведены примеры приложений, где эти подходы применяются. Описаны различные типы шаблонов, возникающие при упорядочении матриц смежностей, соответствующих современным сетям, и алгоритмы, позволяющие выделять эти шаблоны. В частности, продемонстрировано, как использование методов упорядочения матриц совместно с алгоритмами поиска таких шаблонов, как звезды, ложные звезды, цепи, почти клики, полные клики, двудольные ядра и почти двудольные ядра, позволяют создавать понятные визуализации графов, имеющих миллионы вершин и ребер. Также приведены примеры гибридных визуализаций, использующих диаграммы связей вершин для представления неплотных частей графа, а матрицы смежностей – для представления плотных частей и их приложений. Гибридные методы используются для визуализации сетей соавторства, глубоких нейронных сетей, сравнения сетей связности человеческого мозга и др.

Аннотация:

Для классификации изображений в настоящее время можно применить множество различных инструментов, каждый из которых направлен на решение определенного спектра задач. В статье проведен краткий обзор библиотек и технологий для классификации изображений. Построена архитектура простой свёрточной нейронной сети для классификации изображений.

Были проведены эксперименты по распознаванию изображений с такими популярными нейронными сетями, как VGG16 и ResNet 50. Обе нейронные сети показали хорошие результаты. Однако ResNet 50 переобучилась из-за того, что в наборе данных присутствовали однотипные изображения для обучения, поскольку в данной нейронной сети больше слоев, позволяющих считывать признаки объектов на изображениях. С обученными моделями был проведен сравнительный анализ по распознаванию изображений, специально подготовленных для этого эксперимента.

Для классификации изображений в настоящее время можно применить множество различных инструментов, каждый из которых направлен на решение определенного спектра задач. В статье проведен краткий обзор библиотек и технологий для классификации изображений. Построена архитектура простой свёрточной нейронной сети для классификации изображений.

Были проведены эксперименты по распознаванию изображений с такими популярными нейронными сетями, как VGG16 и ResNet 50. Обе нейронные сети показали хорошие результаты. Однако ResNet 50 переобучилась из-за того, что в наборе данных присутствовали однотипные изображения для обучения, поскольку в данной нейронной сети больше слоев, позволяющих считывать признаки объектов на изображениях. С обученными моделями был проведен сравнительный анализ по распознаванию изображений, специально подготовленных для этого эксперимента.

Аннотация: Сетевые формы взаимодействия набирают обороты в системе социального общества, сегодня их рассматривают в ряду инноваций, приписывая значительное число возможностей и достоинств. В современном информационном обществе, где информация распространяется с огромной скоростью, без сетевого взаимодействия невозможно представить инновационные процессы. Любая организации всегда испытывает дефициты – ресурсные, кадровые, материально-технические. Не являются исключением и библиотеки, поэтому автор статьи полагает, что создание различных форм сетевого взаимодействия позволит существенно повысить деятельность и престиж каждой библиотеки, входящей в сеть.

Аннотация:

Исследованы две модификации рекуррентных нейронных сетей: сети с долгой краткосрочной памятью и сети с управляемым рекуррентным блоком с добавлением механизма внимания к обеим сетям, а также модель Transformer в задаче генерации запросов к поисковым системам. В качестве модели Transformer использована модель GPT-2 от OpenAI, которая обучалась на запросах пользователей. Проведен латентно-семантический анализ для определения семантических сходств между корпусом пользовательских запросов и запросов, генерируемых нейронными сетями. Для проведения анализа корпус был переведен в формат bag of words, к нему применена модель TFIDF, проведено сингулярное разложение. Семантическое сходство вычислялось на основе косинусной меры. Также для более полной оценки применимости моделей к задаче был проведен экспертный анализ для оценки связности слов в искусственно созданных запросах.

Аннотация:

В последние годы достижения в области искусственного интеллекта (ИИ) и машинного обучения обусловлены успехами в разработке больших языковых моделей (LLM) на основе глубоких нейронных сетей. В то же время, несмотря на существенные возможности, LLM имеет такие принципиальные ограничения, как спонтанная недостоверность в фактах и суждениях; допущение простых ошибок, диссонирующих с высокой компетентностью в целом; легковерие, проявляющееся в готовности принимать за истину заведомо ложные утверждения пользователя; отсутствие сведений о событиях, произошедших после завершения обучения.

Вероятно, ключевой причиной является то, что обучение биологического интеллекта происходит через усвоение неявных знаний воплощенной формой интеллекта, позволяющей решать интерактивные физические задачи реального мира. Биоинспирированные исследования нервных систем организмов позволяют рассматривать мозжечок, координирующий движения и поддерживающий равновесие, в качестве главного кандидата для раскрытия методов реализации воплощенного физического интеллекта. Его простая повторяющаяся структура и способность управлять сложными движениями дают надежду на возможность создания аналога адаптивным нейронным сетям.

В настоящей работе изучается биоинспирированная архитектура мозжечка как форма аналоговых вычислительных сетей, способная моделировать сложные физические системы реального мира. В качестве простого примера представлена реализация воплощенного ИИ в виде многокомпонентной модели щупальца осьминога, демонстрирующей потенциал в создании адаптивных физических систем, обучающихся и взаимодействующих с окружающей средой.

Аннотация:

Сталь в наши дни является одним из важнейших производственных материалов, который используется повсеместно, от медицины до промышленных отраслей. Своевременное обнаружение и распознавание дефектов на стальных листах после проката – одна из ключевых проблем этого производства с учетом его сложности и необходимости затрат большого количества времени на проведение вручную проверок каждого листа и каждой заготовки. Одними из целей настоящей работы были автоматизация и упрощение данного процесса. Для решения соответствующих задач была использована, в первую очередь, модель сверточной нейронной сети под названием UNet, которая уже зарекомендовала себя как отличный инструмент решения таких задач — при высокой результативности она требует меньшего количества учебных данных. В основе этой модели лежат последовательная, производимая в несколько шагов свертка изображения до приемлемого размера (иными словами, сжатие или кодирование), а затем развертка, восстановление изображения к исходному размеру и соотношению сторон, после чего на выходе будет получена маска изображения с классами элементов, которые необходимо было найти. В дополнение к этой нейронной сети в качестве кодирующего (сворачивающего) слоя была использована другая модель — ResNet34, предварительно обученная на датасете (наборе данных) ImageNet1000. В этой модели также был модифицирован выходной слой — вместо 34 слоев с классами на выходе возвращалось лишь 4, что сократило время обработки и позволило использовать наиболее удачные определения в результатах. Используя данный подход и проведя все необходимые проверки, при подведении итогов, мы получили результат в 94,8% точности определения дефектов на стальных листах.

Аннотация:

Для определения наиболее эффективного подхода к решению задачи классификации эмоционального тона сообщения проведено обучение выбранных моделей нейронной сети на различных наборах обучающих данных. На основе такого показателя, как процентное соотношение правильно данных ответов на тестовом наборе данных, сравнены комбинации наборов обучающих данных и различных моделей, обученных на основе этих данных. Произведено обучение четырех моделей нейронной сети на трех различных наборах обучающих данных. В результате сравнения точности ответов каждой модели, обученной на разных обучающих данных, сделаны выводы о выборе модели нейронной сети, наиболее подходящей для решения поставленной задачи.

Аннотация:

В условиях перехода образовательных систем на дистанционное обучение, а также развития тренда на удалённую работу, возникла острая потребность в разработке надежных технологий биометрической идентификации и аутентификации для верификации исполнителей работ в режиме удаленной работы. Такие технологии позволяют обеспечить высокую степень защиты и удобство использования, что делает вопросы их разработки и оптимизации крайне важными.

Проблема заключается в необходимости повышения точности и эффективности систем распознавания движений манипулятора «мышь» без использования специализированных устройств в максимально короткий промежуток времени. Для ее решения требуется эффективная предобработка таких движений, чтобы упростить их траектории, сохранив при этом их ключевые особенности.

В статье предложено использование алгоритма Дугласа–Пеккера для предварительной обработки данных траекторий движений «мыши». Этот алгоритм позволяет значительно уменьшить количество точек в траекториях, упрощая их при сохранении основной формы движений. Данные с упрощенными траекториями затем используются для обучения нейронных сетей.

Экспериментальная часть работы показала, что применение алгоритма Дугласа–Пеккера позволяет сократить количество точек в траекториях на 60%, что приводит к увеличению точности распознавания движений с 70% до 82%. Такое упрощение данных способствует ускорению процесса обучения нейронных сетей и повышению их операционной эффективности.

Проведенное исследование подтвердило эффективность использования алгоритма Дугласа–Пеккера для предварительной обработки данных в задачах распознавания движений «мыши». Полученные результаты могут найти применение в разработке более интуитивно понятных и адаптивных пользовательских интерфейсов.

Предложены также направления для дальнейших исследований, включая оптимизацию параметров алгоритма для различных типов движений и исследование возможности его комбинирования с другими методами машинного обучения.

Аннотация:

Предложен метод автоматической атрибуции архивных рукописных писем на основе сиамской нейронной сети, решающий ключевую проблему цифровой гуманитаристики – установление авторства исторических документов. Актуальность исследования обусловлена массовой оцифровкой архивов XVII–XIX вв., атрибуция которых затруднена из-за неполных исходных сведений об авторах.

Метод адаптирован к работе с реальным корпусом текстов и учитывает характерные для архивов проблемы: некачественные оцифровки, значительную вариативность почерка и выраженный дисбаланс классов (от 1 до 50 и более образцов на автора). Применение сиамской архитектуры позволяет получать дискриминативные векторные представления, эмбеддинги, на основе которых выполняется не только классификация документов известных авторов, но и эффективно выявляются рукописи, не принадлежащие ни одному из них. Это сужает круг кандидатов для последующей экспертной проверки.

Представлен алгоритм предобработки данных и проведено сравнительное исследование двух подходов к анализу текста: на уровне фрагментов изображения (300 × 300 пикселей) и уровне отдельных строк. Разработанный инструмент предлагает архивным работникам и филологам эффективное решение для предварительной сортировки и атрибуции крупных массивов рукописных документов.

Аннотация: Благодаря быстрому развитию направления Semantic Web и его новой ветви Linked Open Data, в Интернете становятся доступными большие объемы структурированной информации, размещенной на научных порталах, посвященных различным научным направлениям. Наиболее достоверным источником информации, посвященной любому научному направлению, являются собственно научные публикации, составляющие основное наполнение таких порталов. Эти данные нуждаются в средствах анализа, которые могли бы способствовать упрощению их понимания и оптимизации научного менеджмента. В данной работе описываются новые алгоритмы визуализации графов, реализованные в ИСИ СО РАН, и демонстрируется применение этих алгоритмов для визуализации сетей соавторства и сетей цитирования, извлеченных из научных порталов, входящих в облако Linked Open Data.

Аннотация:

Работа посвящена описанию процесса разработки универсального инструментария для генерации синтетических данных для обучения разных нейронных сетей. Используемый подход показал свою успешность и эффективность в решении различных задач, в частности, обучения нейросети для распознавания покупательского поведения внутри магазинов через камеры наблюдения и пространств устройствами дополненной реальности без использования вспомогательных инфракрасных камер. Обобщающие выводы позволяют спланировать дальнейшее развитие технологий генерации трехмерных синтетических данных.

Аннотация:

Проведен сравнительный анализ методов сегментации изображений пожара с использованием пороговой обработки в цветовом пространстве HSV и нейронной сети U-Net. Цель исследования заключалась в оценке эффективности этих подходов по времени выполнения и точности детекции огня на основе метрик RMSE, IoU, Dice и MAPE. Эксперименты были проведены на четырех различных изображениях пожара с вручную подготовленными истинными масками пожаров. Результаты показали, что метод HSV обеспечивает высокую скорость обработки (0.0010–0.0020 с), но склонен к детекции не только огня, но и дыма, что снижает его точность (IoU 0.0863–0.3357, Dice 0.1588–0.5026). Нейронная сеть U-Net демонстрирует более высокую точность сегментации огня (IoU – до 0.6015, Dice – до 0.7512) за счет избирательного выделения пламени, однако требует значительно большего времени (1.2477–1.3733 с) и может недооценивать общую площадь пожара (MAPE – до 78.5840%). Визуальная оценка подтвердила различия в поведении методов: HSV захватывает дым как часть целевой области, тогда как U-Net фокусируется исключительно на огне. Выбор между методами зависит от приоритетов задачи: скорости или точности. Предложены направления дальнейших исследований, включая оптимизацию U-Net и разработку гибридных подходов.

Аннотация: Предложена модель машинного обучения для выявления взаимосвязи между данными профиля социальной сети и академической успеваемости учащегося, а также прогнозирования среднего балла успеваемости по данным параметрам.

Аннотация:

Рассмотрены возможности генеративных нейросетевых симуляций с фокусом на применении методов обучения с подкреплением и нейросетевых мировых моделей для создания интерактивных миров. Описаны ключевые достижения в области обучения агентов с использованием обучения с подкреплением. Особое внимание уделено нейросетевым моделям мира, а также генеративным моделям, таким как Oasis, DIAMOND, Genie и GameNGen, использующим диффузионные сети для создания реалистичных и интерактивных игровых миров. Рассмотрены возможности и ограничения моделей генеративных симуляций, такие как проблемы с аккумуляцией ошибки и ограничениями памяти, а также их влияние на качество генерации. В заключении названы темы дальнейших исследований.

Аннотация:

Представлены решения проблемы распознавания усталости человека по изображению его лица. Сначала рассмотрены уже существующие алгоритмы, а затем предложена и реализована модель собственной архитектуры. В заключении приведены итоговые показатели работы модели.

Аннотация: Представлен подход к автоматическому построению вопросов для тестов или викторин при помощи графа знаний DBPedia. Выбранный граф знаний имеет около 5 млн. сущностей и дает возможность делать запросы к семантической сети при помощи языка SPARQL. В статье представлены алгоритм, основные запросы к графу знаний для построения вопросов и нестандартный подход к поиску сущностей.

Аннотация:

Робастность модели к незначительным отклонениям в распределении исходных данных является важным критерием во многих задачах. Нейронные сети могут показывать высокую точность (accuracy) на обучающей выборке, но при этом качество на тестовой выборке может сильно падать из-за разного распределения данных, причем ситуация только усугубляется на уровне подгрупп внутри каждой категории.

В данной статье мы показываем, как робастность модели на уровне подгрупп может быть значительно улучшена с помощью подхода, основанного на доменной адаптации векторных представлений. Мы обнаружили, что применение состязательного подхода к ограничению векторных представлений дает существенный прирост метрики точности (accuracy) в сложной подгруппе по сравнению с предыдущими моделями. Метод протестирован на двух независимых наборах данных, точность в сложной подгруппе на наборе данных Waterbirds составляет 90.3 {y : waterbirds;a : landbackground}, а на наборе данных CelebA – 92.22 {y : blondhair;a : male}.

Аннотация: The ERCIM Digital Library Initiative began in 1996 with the setting up of the DELOS Digital Library Working Group. The aim was to promote European research into the further development of digital library technologies, to stimulate the efficient and cost-effective implementation of digital library systems, to encourage collaboration between research teams working in the field, and to promote the transfer of knowhow and technology to the relevant application areas. We illustrate the main activities of the ERCIM DLI over the last three years, and discuss the intention to establish a forum for Digital Library activities in the future through the creation of a Network of Excellence. The areas in which this Network should be active are described.

Аннотация:

Представлен опыт верификации реализаций клиента криптографического протокола TLS версии 1.3. TLS сегодня является одним из наиболее востребованных криптографических протоколов, предназначенных для создания защищенных каналов передачи данных. Протокол обеспечивает необходимую для своих задач функциональность: конфиденциальность передаваемых данных, целостность данных, аутентификацию сторон. В новой версии протокола TLS 1.3 была существенно переработана архитектура, устранен ряд недостатков предыдущих версий, выявленных как при разработке реализаций, так и в процессе их эксплуатации.

В работе использован новый тестовый набор для верификации реализаций клиента протокола TLS 1.3 на соответствие спецификациям интернет, разработанный на основе спецификации RFC 8446 с использованием технологии UniTESK и методов мутационного тестирования. Для тестирования реализаций на соответствие формальным спецификациям применена технология UniTESK, предоставляющая средства автоматизации тестирования на основе использования конечных автоматов. Состояния тестируемой системы задают состояния автомата, а тестовые воздействия – переходы этого автомата. При выполнении перехода заданное воздействие передается на тестируемую реализацию, после чего регистрируются реакции реализации и автоматически выносится вердикт о соответствии наблюдаемого поведения спецификации. Мутационные методы тестирования используются для обнаружения нестандартного поведения тестируемой системы (завершение из-за фатальной ошибки, «подвисание», ошибки доступа к памяти) с помощью передачи некорректных данных, такие ситуации часто остаются за рамками требований спецификаций. В сообщения, сформированные на основе разработанной модели протокола, вносятся какие-либо изменения. Модель протокола дает возможность вносить изменения в поток данных на любом этапе сетевого обмена, что позволяет тестовому сценарию проходить через все значимые состояния протокола и в каждом таком состоянии проводить тестирование реализации в соответствие с заданной программой. Представленный подход доказал свою эффективность в нескольких наших проектах при тестировании сетевых протоколов, обеспечив обнаружение различных отклонений от спецификации и других ошибок. Текущая работа является частью проекта верификации протокола TLS 1.3 и охватывает реализации клиентской части протокола.

Аннотация:

Рассмотрена задача ускорения построения точной редакторской разметки рукописных архивных текстов в рамках инкрементного цикла обучения на основе слабой расшифровки. В отличие от ранее опубликованных результатов, основное внимание уделено интеграции автоматической посткоррекции слабой расшифровки с помощью больших языковых моделей (Large Language Models, LLM). Предложен и реализован протокол применения LLM на уровне строк в режиме обучения на нескольких примерах с тщательно сконструированными промптами и контролем формата вывода (сохранение дореформенной орфографии, защита имен и числительных, запрет на изменение структуры строк). Эксперименты проведены на корпусе дневников А. В. Сухово-Кобылина. В качестве базовой модели распознавания использована строчная версия модели Vertical Attention Network. Результаты показали, что LLM-коррекция на примере сервиса ChatGPT-4o заметно улучшает читабельность слабой разметки и существенно снижает процент ошибок в словах (в нашем опыте – порядка −12 процентных пунктов), при этом не внося ухудшения в проценте ошибок в буквах. Другой исследуемый сервис – DeepSeek-R1 – показал менее стабильное поведение. Рассмотрены практические настройки промптов, ограничения (контекстные лимиты, риск «галлюцинаций») и даны рекомендации по безопасной интеграции LLM-коррекции в итерационный пайплайн разметки с целью сокращения трудозатрат эксперта-асессора и ускорения оцифровки исторических архивов.

Аннотация:

Большие языковые модели (Large Language Models, LLM) прошли путь от простых N-граммных систем до современных универсальных архитектур, однако ключевым ограничением остается квадратичная сложность механизма самовнимания по длине входной последовательности. Это существенно увеличивает потребление памяти и вычислительных ресурсов, а с появлением задач, требующих рекордно длинных контекстов, создает необходимость разработки новых архитектурных решений. Поскольку для исследования предлагаемой архитектуры требуется длительное и дорогостоящее обучение полновесной сети, необходимо разработать инструмент, который позволял бы быстро дать предварительную оценку архитектуре с точки зрения внутренней памяти.

В настоящей работе предложен метод количественной оценки внутренней памяти нейросетевых архитектур на основе синтетических тестов, не требующих больших корпусов данных. Под внутренней памятью понимается объем информации, который модель способна воспроизвести без обращения к исходным входам.

Для верификации подхода разработан программный комплекс, апробированный на архитектурах GPT-2 и Mamba. Использованы задачи копирования, инверсии и извлечения значения по ключу. Проведенное сравнение по точности предсказаний, распределению ошибок и вычислительным затратам позволяет оперативно оценивать эффективность и перспективность архитектур LLM.

Аннотация:

Для поддержки адаптивного обучения и образовательной аналитики в интеллектуальных обучающих системах необходимо собирать и обрабатывать данные об успеваемости студентов и их индивидуальных характеристиках. Это можно реализовать с помощью модели студента. Анализ подходов к моделированию студента показал оптимальным применение нескольких типов моделей, исходя из требований, составленных для разрабатываемой обучающей системы. Были выбраны и объединены в одну модель три подхода: оверлейный, сеть Байеса, моделирование ошибочных знаний. Использование оверлейной модели позволяет строить индивидуальные траектории обучения студентов. Сети Байеса реализуют компетентностный подход в обучении. Модель ошибок отслеживает ошибочные знания студентов и помогает им исправить их на ранних стадиях. Модель студента, объединяющая в себе данные подходы, является подходящей для реализации персонализированного обучения, позволяет преподавателю отслеживать успеваемость студентов по различным характеристикам, а также дает возможность легко представить в системе карту тем, знаний, компетентности студентов в различных областях в виде графа, что является удобным и понятным представлением.

Аннотация:

Представлен опыт верификации реализаций сервера криптографического протокола TLS версии 1.3. TLS – широко распространенный криптографический протокол, предназначенный для создания защищенных каналов передачи данных и обеспечивающий необходимую для этого функциональность: конфиденциальность передаваемых данных, целостность данных, аутентификацию сторон. Новая версия протокола TLS 1.3 была представлена в августе 2018 года и имеет ряд существенных отличий по сравнению с предыдущей версией 1.2. Ряд разработчиков протокола TLS уже включил поддержку последней версии в свои реализации. Данные обстоятельства делают актуальным проведение исследований в области верификации и безопасности реализаций новой версии протокола TLS. В работе использован новый тестовый набор для верификации реализаций протокола TLS 1.3 на соответствие спецификациям интернета, разработанный на основе спецификации RFC 8446 с использованием технологии UniTESK и методов мутационного тестирования. Текущая работа является частью проекта верификации протокола TLS 1.3 и охватывает часть дополнительной функциональности и необязательных расширений протокола.

Для тестирования реализаций на соответствие формальным спецификациям применена технология UniTESK, предоставляющая средства автоматизации тестирования на основе использования конечных автоматов. Состояния тестируемой системы задают состояния автомата, а тестовые воздействия – переходы этого автомата. При выполнении перехода заданное воздействие передается на тестируемую реализацию, после чего регистрируются реакции реализации и автоматически выносится вердикт о соответствии наблюдаемого поведения спецификации. Мутационные методы тестирования используются для обнаружения нестандартного поведения тестируемой системы с помощью передачи некорректных данных. В поток обмена протокола, создаваемый в соответствии со спецификацией, вносятся некоторые изменения: либо изменяются значения полей сообщений, сформированных на основе разработанной модели протокола, либо изменяется порядок сообщений в потоке обмена. Модель протокола позволяет вносить изменения в поток данных на любом этапе сетевого обмена, что позволяет тестовому сценарию проходить через все значимые состояния протокола и в каждом таком состоянии проводить тестирование реализации в соответствии с заданной программой. На данный момент было обнаружено несколько отклонений реализаций от спецификации.

Представленный подход доказал свою эффективность в нескольких наших проектах при тестировании сетевых протоколов, обеспечив обнаружение различных отклонений от спецификации и других ошибок.