Аннотация:

Ранжирование научных конференций играет ключевую роль в академическом мире, определяя уровень значимости и престижности каждого мероприятия. Основными результатами ранжирования с точки зрения персоналия являются: определение качества и влияния научной конференции; ориентир для выбора конференций; поощрение к проведению качественных исследований; формирование научного сообщества; улучшение видимости и влияния конференции на научное сообщество. В работе приведен обзор существующих на настоящий момент каталогов конференций и систем ранжирования конференций, как в автоматическом режиме, так и с участием экспертных советов. Отмечено, что целью создания национальных систем ранжирования являются продвижение и популяризация отечественных конференций и журналов. На основании обзора существующих на настоящий момент каталогов конференций и систем ранжирования конференций, проведенного в работе, можно сформулировать следующие критерии для проведения ранжирования конференций: показатели публикационной активности, построенные по результатам анализа опубликованных материалов конференции; авторитетности докладчиков, программного и организационного комитетов конференции; количество докладов и соотношение количества докладов к количеству участников конференции; время рецензирования заявок, поданных на конференцию; соотношение поданных и принятых заявок; ретроспективные и географические параметры.

Аннотация:

С появлением науки о сетях стало возможным исследовать сложные сетевые системы, в том числе социальные и информационные, посредством представления их в виде графовых моделей. Рост в геометрической прогрессии общего объема научных публикаций обуславливает актуальность задач анализа их взаимосвязей. В науке о сетях для решения данных задач разрабатываются модели и методы, относящиеся к сфере так называемых сетей цитирования. Однако сетевые метрики не используются при анализе публикаций в базах цитирования.

В работе рассмотрены вопросы создания системы поддержки принятия решений при выборе источников информации на основе данных о цитировании научных публикаций. Разработан программный комплекс для принятия решений по определению важности публикации в определенной тематической области. В основу работы этого программного комплекса заложен метод ранжирования публикаций по важности на основе анализа сетей цитирования, позволяющий выявить публикации, которые явно не выделяются в чистом виде при ранжировании на основе известных библиометрических показателей или известных мер центральности узлов. Проведены исследование и сравнительный анализ программного обеспечения для визуализации и исследования всех видов графов и социальных сетей. Выполнены исследования, подтверждающие эффективность предлагаемой системы поддержки принятия решений при выборе источников информации.

Аннотация:

По данным портала Math-Net.Ru построен граф цитирования журналов, дугами в котором являются цитирования с 2002 по 2021 годы. Для повышения достоверности модели был выбран временной интервал цитирования с 2010 по 2021 годы, когда распределение цитирующих статей стабилизировалось на уровне 3500–4500 цитирований за год. Исследована структура старения ссылок и показано, что время их полужизни равно 8 годам. Поэтому дата издания цитируемых статей была ограничена 2002 годом. Для построенного графа цитирования получены основные свойства, такие как маленький диаметр и высокая плотность, свидетельствующие о высоком уровне научных коммуникаций в Math-Net.Ru. Показано отсутствие «эффекта Матфея» как ярко выраженного преимущества в цитировании состоявшихся журналов по отношению к менее известным. Адекватность графа цитирования журналов Math-Net.Ru как модели научных коммуникаций подтверждается сравнением ранжирования журналов в графе цитирования с их рейтингом SCIENCE INDEX в eLIBRARY.RU. Показана прямая умеренная связь между двумя ранжированиями. Сделан ряд содержательных выводов, следующих из анализа графа цитирования.

Аннотация:

Настоящее исследование является продолжением работы над пилотной системой по детекции противоречий в судебных постановлениях, целью которой является выявление противоречий между судебными постановлениями по делам об административных правонарушениях и регулирующими нормами. Представленный ранее пайплайн, включающий правиловую предобработку документов, поиск по репозиторию правовых норм и дообучение LLM с использованием адаптера LoRA, обеспечил приемлемый уровень качества [1], однако имел ряд ограничений, связанных с компонентом RAG. В отличие от LLM, RAG не обучался на юридических текстах, что приводило к потере релевантных для сопоставления фрагментов на этапе поиска сходных текстовых пар, в связи с чем проведен анализ качества RAG и выполнено улучшение RAG-части системы.

Для оценки полноты извлечения данных созданы датасет из 30 документов и автоматические тесты, содержащие все пары релевантных для сопоставления предложений из данного датасета (более ста пар). На этих данных рассчитана полнота для исходной версии модели, использующей эмбеддинги предложений sbert_large_nlu_ru для создания векторной базы и вычисления косинусной близости.

Для повышения полноты извлекаемых данных проведены следующие эксперименты: (1) дообучение исходных эмбеддингов на обучающем датасете; (2) добавление модели-ранжировщика с дообучением и без; (3) комбинирование вариаций «базовые/дообученные эмбеддинги» и «базовый/дообученный ранжировщик» на нескольких версиях параметра top_k (количество извлекаемых соответствий); (4) замена модели эмбеддингов предложений на другие варианты. В результате существенно повысилось качество RAG – с 72% до 90%, однако увеличение количества извлекаемых фрагментов снизило общую точность системы, что требует ее дальнейшей калибровки. Кроме того, проведены реорганизация базы кодексов, расширение тестовой выборки и улучшение алгоритма фильтрации нерелевантных предложений из постановлений.

Аннотация:

Перечень рецензируемых научных журналов ВАК постепенно превращается в достаточно сложную информационную систему, завязанную на нормативные документы ВАК, библиометрические данные eLibrary.ru, решения экспертных советов ВАК и рабочих групп, занимающихся анализом, ранжированием и категорированием журналов Перечня. Созданная ФГБУ РИЭПП база Российские научные журналы (РНЖ) может стать системой, обслуживающей запросы разных категорий пользователей, связанных с темой защиты диссертаций. Пока в РНЖ реализованы интерфейс представителя редакции журнала и интерфейс члена экспертного совета ВАК. В РНЖ желательно включить открытый интерфейс, обращенный соискателю ученой степени, для проверки выполнения требований ВАК к публикациям в журналах из Перечня. При налаженном взаимном обмене данными между РНЖ и eLibrary.ru интерфейс соискателя с обозначенным функционалом может быть организован в среде пользователя eLibrary.ru.

Аннотация:

Представлен RusHallu-RAG – первый комплексный бенчмарк для обнаружения галлюцинаций в русскоязычных RAG-системах. Набор данных из 1000 пар «запрос – ответ» охватывает области общего знания и научных текстов с контролируемой балансировкой релевантности контекста. Предложена детализированная таксономия из шести типов галлюцинаций, использованная для разметки на уровне всего ответа и отдельных его фрагментов с привлечением экспертов и больших языковых моделей.

Для обучения детектора собран сбалансированный тренировочный датасет объемом 3000 примеров с применением синтетических методов генерации. На его основе методом SFT обучен детектор на базе YandexGPT-5-Lite-8B. Проведена оценка 15 моделей с открытыми и закрытыми весами, а также обученного детектора. Результаты показали, что число параметров не гарантирует высокой производительности: модели среднего размера (20–33 млрд) иногда превосходят более крупные. Обученный детектор достигает средней точности 63.7%, занимая второе место после закрытой Gemini-2.5-Pro, с приростом 47.2 п.п. относительно исходной модели. Разрыв между закрытыми и открытыми моделями сокращается с 20–35 до 8.4 п.п., что подтверждает эффективность подхода. Бенчмарк, код и обученная модель опубликованы в открытом доступе.

Аннотация:

В современном научном мире одним из способов оценки успешности научной деятельности ученого является вычисление различных показателей, основанных на количестве его публикаций и их цитируемости. При этом каждый соавтор публикации получает за нее одинаковое количество баллов. Подобный способ оценки приводит к искусственному увеличению количества соавторов, что, в свою очередь, влечет за собой искажение рейтинговых оценок научной деятельности в организации, а также значительно снижает качество тематического поиска по библиографическим данным экспертов, конференций и журналов. Представленный в работе метод позволяет оценить степень влияния указанного фактора на показатели, основанные на учете количества и цитируемости научных публикаций. Апробация метода проводилась на данных наукометрической системы ИАС «ИСТИНА».

Аннотация:

Статья посвящена разработке и оценке комплекса инструментов для оптимизации работы геймдизайнера с нарративным контентом и дизайном инди-RPG на движке Godot. Актуальность проведенного исследования обусловлена ростом числа независимых студий, работающих с Godot и аналогичными игровыми движками, что требует создания специализированных средств, компенсирующих отсутствие в них готовых решений для разработки RPG: построения диалоговых систем, проектирования пошаговых боев, управления катсценами и реализации комплексного пользовательского интерфейса.

На основе архитектурного анализа референсной игры Persona 5 Royal спроектирован инструментарий, обеспечивающий оптимизацию работы геймдизайнера и снижение его зависимости от программиста. Методологически исследование опиралось на выделение состояний игрока, независимых модулей и зон профессиональной ответственности, что позволило разработать пять инструментов. Оценка их эффективности проведена с участием 12 начинающих геймдизайнеров, включала замеры времени выполнения заданий, интервью и экспертное ранжирование.

Полученные результаты показали, что инструменты, не имеющие аналогов в Godot («Боевые сегменты», «Комплексный пользовательский интерфейс», «Диалоговая система»), получили высокие экспертные оценки; инструмент «Интерактивные объекты локаций», имеющий аналог в Godot, сократил время выполнения работ в среднем на 65.5%, а инструмент «Команды игровому окружению» не продемонстрировал эффективности и требует доработки.

Практическая значимость результатов состоит в создании готового к внедрению инструментария, позволяющего инди-командам сокращать время разработки RPG и повышать автономность их геймдизайнеров.

Аннотация:

Инструмент построения рейтингов научных журналов является одним из востребованных сервисов библиографических баз. Задача построения рейтинга обычно делится на две основные подзадачи: определение референтной группы журналов и вычисление показателя рейтинга для журналов этой группы. Практика показывает, что для корректного сопоставления журналов необходимым условием является ограничение референтной группы исключительно журналами определенной тематики. В случае методических ошибок, допущенных на этапе выделения референтной группы, значения показателя журналов в рейтинге могут сильно отличаться от ожидаемых.

Например, в рейтинге журналов в Российском индексе научного цитирования (РИНЦ) по двухлетнему импакт-фактору в тематическом направлении «Математика» классические фундаментальные математические журналы вопреки ожиданиям не выходят на первые позиции рейтинга. Первые позиции заняли журналы, для которых математика не является доминирующей профильной дисциплиной. Анализ статистических данных о тематике публикуемых статей и цитирований в журналах, занимающих лидирующие позиции рейтинга РИНЦ, показывает, что на показатели рейтинга существенно повлияла мультидисциплинарность этих журналов.

Отмеченное недоразумение подводит к мысли о том, что в подсчет рейтинга в данном случае следовало вовлекать не все статьи журнала, а только относящиеся к данному тематическому направлению. Вместе с тем вопросы вызывает и сложившаяся схема тематической классификации направлений. Более перспективной представляется набирающая популярность классификация «снизу вверх», работающая на представительном массиве статей. Здесь тематические кластеры вычленяются на основе понятия близости статей, трактуемого как близость их библиографических связей. И далее тематическая принадлежность статьи не назначается волевым решением автора или редакции, а строго формально вычисляется на основе ее библиографического списка.

Аннотация:

Работа посвящена проблеме развития библиотеки научных предметных областей SciLibRu, как продолжения семантического описания научных трудов проекта LibMeta. В основе этой библиотеки лежит концептуальная модель данных, структура и семантика которой сформированы на принципах онтологического моделирования. Такой подход обеспечивает строгое описание предметной области, формализацию взаимосвязей между сущностями и возможность дальнейшего автоматизированного анализа данных. Целью настоящего исследования были разработка и экспериментальное применение методов структуризации содержимого научных журналов в формате LaTeX для их интеграции в онтологию библиотеки и обеспечения семантического поиска.

Предложен алгоритм трансляции в формат XML данных, представленных множеством файлов, для интеграции в онтологию библиотеки. Реализован модуль векторного поиска, основанный на вычислении эмбеддингов с использованием языковых моделей. Выявлены закономерности распределения эмбеддингов и факторы, влияющие на точность ранжирования результатов поиска. Проведено тестирование двух названых компонентов.

Разработанный метод составляет основу для автоматического включения содержимого научных журналов в граф знаний SciLibRu и создания обучающих корпусов для языковых моделей, ограниченных рамками научных предметных областей. Полученные результаты способствуют развитию систем навигации по графу знаний журналов, а также рекомендательных механизмов и инструментов интеллектуального поиска по русскоязычным научным текстам.

Аннотация:

С весны 2022 в России ведется создание национальной системы оценки результативности научных исследований и разработок с использованием базы ведущих российских журналов Russian Science Citation Index (RSCI). В статье изложены некоторые результаты анализа нормированного рейтинга RSCI, опубликованного в декабре 2022 года. С применением графа цитирования журналов, построенного по данным Math-Net.Ru на примере тематической группы OECD 101. Mathematics показано, что при наличии большого количества самоцитирований журналов обнаруживается связь между нормированным рейтингом и количеством ссылок, а связь с учетом самоцитирования несколько сильнее, чем без самоцитирования. Анализ распределения журналов по тематическим группам показывает, что использование в качестве критерия единственного признака, такого как OECD, не позволяет сформировать группу как сообщество журналов, имеющее единственную компоненту сильной связности в графе цитирования. Делается вывод о том, что методы исследования графов цитирования журналов являются хорошей основой для сравнительного анализа характеристик журналов и их ранжирования, а значит, могут быть использованы как инструменты для дальнейшего развития и совершенствования рейтингов журналов.

Аннотация: Трансформация системы российского высшего образования последних тридцати лет рассмотрена через изменения текстов миссий и показателей эффективности деятельности вузов. Приведена таблица качественных изменений основных аспектов жизнедеятельности университетов. Показано, что происходят прагматизация и конкретизация формулировок миссии университета. Обсуждена эволюция отчетных и рейтинговых показателей.