Рассмотрена проблема автоматической разметки обучающих выборок в области компьютерного зрения с использованием методов машинного обучения.

Разметка данных является ключевым этапом в разработке и обучении моделей глубокого обучения, однако процесс создания размеченных данных зачастую требует значительных временных и трудовых затрат. В статье предложен механизм автоматической разметки, основанный на использовании сверточных нейронных сетей и методов активного обучения.

Предложенная методология включает анализ и оценку существующих подходов к автоматической разметке. Эффективность предложенных решений оценена на общедоступных наборах данных. Результаты показали, что предложенный метод в значительной мере сокращает время, необходимое для разметки данных, но в любом случае требует вмешательства оператора-разметчика.

Обзор литературы включает анализ современных методов разметки и существующих автоматических систем, что позволяет лучше понять контекст и преимущества предлагаемого подхода. В заключении обсуждены достижения, ограничения и возможные направления для будущих исследований в данной области.

Описана разработка на основе методов машинного обучения приложения для автоматического аннотирования веб-страниц по стандарту Microdata с возможностью расширения для других стандартов и с внедрением данных в JSX-файлы. Собраны и подготовлены датасеты для обучения моделей Machine Learning (ML). Собраны и проанализированы метрики модели ML.

Обогащение образовательных текстов семантическим содержимым (в частности, дополнение документа гиперссылками на страницы сервиса, отображающего подробную информацию о понятиях, используемых в тексте) способствует повышению эффективности усвоения материала обучающимися. Существующие методы семантической разметки образовательных текстов не учитывают структурные особенности таких документов, что приводит к избыточному распознаванию понятий.

В статье описано развитие метода автоматического аннотирования математических понятий в образовательных математических текстах путем добавления функционала для учета структуры образовательного документа. Основное назначение метода заключается в обработке образовательных материалов курса дистанционного образования «Технология решения планиметрических задач». Соблюдение единого шаблона при создании страниц курса позволяет применить анализ веб-разметки страниц и ключевых слов, примененных создателями курса. Основной задачей в данном процессе является определение типа ячеек таблицы, в которых находятся текстовые фрагменты образовательных материалов. В соответствии с рекомендациями создателей курса, определения необходимо выделять в ячейках, содержащих постановку задачи, а также в тех блоках, где указаны входные данные задачи. Определение типа ячеек таблиц производится с помощью анализа их атрибутов и поиска ключевых слов в их содержимом. Такое ограничение распознаваемых фрагментов текста позволяет улучшить восприятие страниц курса учеником и повысить качество усвоения учебного материала.

Представлен набор семантических сервисов, разработанных с целью поддержки образовательного процесса в области математики. Функционал этих сервисов основан на использовании математических онтологий OntoMath^Edu и OntoMath^PRO. Онтология профессионального математического знания OntoMath^PRO предназначена для классификации и систематизации математических понятий и включает несколько важнейших областей математики. Образовательная математическая онтология OntoMath^Edu системно представляет знания по учебному курсу «Планиметрия». Для применения онтологий в образовательных приложениях разработан подход к проектированию пререквизитных отношений в названных онтологиях. Для поддержки математического образования разработаны сервисы семантического поиска по математическим формулам, семантического аннотирования учебных материалов, визуализации подграфов семантической сети онтологии OntoMath^Edu, а также параллельный формальный/неформальный корпус математических утверждений и система автоматической генерации тестовых вопросов по математическим дисциплинам.

Приведены примеры успешного применения разработанных программных инструментов. Эти инструменты встроены в цифровую экосистему OntoMath, в рамках которой осуществляется взаимодействие семантических сервисов управления математическим знанием.  

Представлен новый подход к контролируемой генерации лиц, использующий генеративные модели с открытым исходным кодом, включая StyleGAN2 и Гребневую регрессию. Разработана методология, расширяющая возможности StyleGAN2 для контроля характеристик лиц, таких как возраст, раса, пол, выражение лица и атрибуты волос, а также использован обширный набор данных человеческих лиц с аннотациями атрибутов. Лица закодированы в 256-мерном латентном пространстве с использованием кодировщика StyleGAN2, что привело к набору характерных латентных кодов. Применен алгоритм t-SNE для кластеризации этих кодов на основе признаков, продемонстрирована возможность контроля генерации лиц, впоследствии обучены модели регрессии Риджа для каждого измерения латентных кодов с использованием размеченных признаков. При декодировании с использованием StyleGAN2 полученные коды успешно восстанавливали изображения лиц, сохраняя связь с входными признаками. Разработанный подход дает легкий и эффективный способ контролируемой генерации лиц с использованием существующих генеративных моделей, таких как StyleGAN2, и открывает новые возможности для различных областей применения.

Представлены результаты по созданию методов управления математическим знанием в контексте цифровых математических библиотек. Программные инструменты, разработанные на основе этих методов, являются частью цифровой экосистемы OntoMath, в рамках которой осуществляется их взаимодействие. Приведено краткое описание архитектуры экосистемы OntoMath, выделены уровни предметных онтологий и внешних онтологий, а также уровень программных инструментов и сервисов. В отдельную категорию выделены семантические сервисы. Этим термином обозначены программные инструменты, в функционале которых используются запросы к предметным онтологиям для обеспечения управления объектами знаний. Даны общие описания разрабатываемых предметных онтологий: образовательной математической онтологии OntoMath^Edu и онтологии профессиональной математики OntoMath^PRO. Отражено развитие образовательной онтологии в направлении включения образовательных пререквизитных связей между классами. Среди программных инструментов цифровой экосистемы выделены сервисы поиска по математическим электронным коллекциям, сервис семантического аннотирования математических документов, инструменты семантической разметки образовательных математических документов, а также система автоматической генерации проверочных тестов по математическим образовательным дисциплинам.

В рамках цифровой экосистемы OntoMath развиваются рекомендательные системы специального назначения. В текущей версии экосистемы представлены рекомендательная система формирования списка близких статей, основанная на онтологии OntoMath^PRO, рекомендательная система назначения экспертов для поддержки процесса научного рецензирования и рекомендательные системы подбора предметных классификаторов УДК и кодов Mathematics Subject Classification для математических документов. Приведены также результаты, полученные в направлении создания фабрики метаданных цифровой библиотеки, включающей сервисы и инструменты извлечения, уточнения, пополнения и нормализации метаданных документов электронных математических коллекций. Отметим, что экосистема OntoMath разрабатывается как технологическая основа цифровой математической библиотеки Lobachevskii-DML.

Рассмотрены особенности задачи идентификации авторов и определения авторского вклада в публикации в цифровых библиографических коллекциях. Особенности проблемы недостаточной идентификации проявляются в повторах информации, двойниковании, наличии авторов с полностью совпадающими именами, самоцитировании, автоплагиате и собственно плагиате. Предлагается использовать информацию о публикациях, которая уже накоплена в цифровой библиотеке в виде связанных данных предметной области и множества данных тезауруса адресата, как автора и пользователя библиотеки. Эта информация содержит связи, благодаря которым для идентификации авторства можно использовать контексты ключевых слов, множества соавторов и ассоциативные связи терминов в словарях и тезаурусах. Важно, что рассматривается массив научных публикаций, поскольку они имеют сложившуюся традиционную структуру, что позволяет сравнивать фиксированные элементы текста (аннотации, ключевые слова, коды классификаторов и т. д.). Таким образом, даже при полном совпадении имен в публикациях можно ставить вопрос об авторстве, если в цифровой библиотеке публикации соответствуют различным предметным областям. Разрешение таких противоречий осуществляется путем оценки множества связей всех элементов вторичной информации о публикации. Результатом сравнения может быть добавление автора в некоторую предметную область, т. е. расширение тезауруса адресата и персонального тезауруса автора, или появление в библиотеке полных тезок, но из разных областей знаний. Показано, что современные средства анализа данных позволяют оценить вклад автора в публикацию, несмотря на то, что конечно, реальный вклад в научное исследование может оценить только научное сообщество.

Дан обзор существующих решений по семантическому анализу математических документов, а также описан метод автоматического семантического анализа документов, представленных в формате PDF. Разработанный метод позволяет выделять математические формулы внутри документа, анализировать их структуру, выполнять поиск локальных переменных формулы и их определений в документе, а также связывать переменные формулы и понятия из онтологии. Преимуществом разработанного метода перед другими существующими является независимость от разметки исходного PDF-документа, что расширяет область применения метода. Приведены оценки полноты, точности и F-меры для алгоритмов поиска переменных и связывания локальных переменных с формулами. Полученная семантическая разметка документа позволяет создавать коллекции документов, пригодных для сервиса семантического поиска формул, который является одним из сервисов цифровой библиотеки Lobachevskii-DML.