Исследована проблема квантификации уверенности больших языковых моделей (Large Language Model, LLM) при автоматической семантической классификации аргументов при эмотивных предикатах. На материале русскоязычных сообщений социальных сетей проанализированы глаголы страха (пугать, бояться и др.) и эмоционального отношения (нравиться, любить) с семантическими ролями экспериенцера, каузатора и объекта. В работе дано сравнение самооценки уверенности LLM Claude Sonnet 4.5 с экспертной оценкой текстов рассуждений модели при классификации аргументов по тематической области «Здравоохранение». В эксперименте использована стратифицированная выборка из 300 примеров с применением цепочки рассуждений на русском языке и четырехступенчатой шкалы уверенности. Результаты показали умеренную корреляцию Спирмена между оценками эксперта и модели. Статистически значимая связь установлена только между самооценкой модели и фактической корректностью классификации, тогда как экспертная оценка лингвистических характеристик рассуждений не зависит от точности. Сделан вывод о том, что эксплицитные рассуждения LLM не связаны напрямую с самооценкой по степени уверенности и не влияют на процесс принятия решений; они могут являться важной функциональной частью пользовательского интерфейса, но не исследовательского.   

Рассмотрены проблемы оценки достоверности информации, извлекаемой из научно-популярных текстов. Как известно, научно-популярный жанр характеризуется свободным стилем изложения материала, нестрогими отсылками к первоисточникам и экспертным мнениям, наличием спорных утверждений и выводов. Уточнение этих компонент авторских рассуждений может существенно повысить степень доверия к ним критически настроенных читателей или, наоборот, позволит опровергнуть тезисы, приводимые авторами.

В работе предложен новый подход к решению задачи оценки достоверности информации, содержащейся в научно-популярных публикациях. Подход предполагает применение теории аргументации Д. Уолтона для выявления потенциально недостоверных утверждений и логических ошибок в рассуждениях. Поиск в научных базах данных и вычисление метрик доверия к научным публикациям на основе их метаданных и научных рейтингов будет обеспечивать верификацию спорных утверждений и оценку их достоверности. Применение больших языковых моделей позволит сгенерировать объяснения принимаемых решений.

Для разработки и апробации этого подхода предложены две методики сбора данных. В первой используются корпуса русскоязычных научно‑популярных текстов и комментарии к ним с аргументативной разметкой. Такая разметка включает, в том числе, полемические схемы аргументации, аннотированные вручную, которые подвергают сомнению тезис или аргумент автора. Базой второй методики служит генерация с помощью LLM синтетических тезисов и научно-популярных статей на основе реальных научных публикаций.

Одной из важных задач автоматизации деятельности органов государственной власти является подготовка официальных ответных писем. В статье представлено эмпирическое сравнение двух подходов к автоматической генерации официальных ответных писем – на основе шаблонов, определяющих структуру письма, и на основе релевантных примеров писем, отбираемых с помощью Retrieval-Augmented Generation (RAG). В качестве данных использован оригинальный датасет GovLetter, включающий реальные случаи деловой переписки из практики органов власти Ханты-Мансийского автономного округа – Югры.
Генерация осуществлялась с помощью локально развернутой языковой модели с открытыми весами. Качество результатов оценивалось по 12 критериям с применением схемы структурированного промптинга Schema-Guided Reasoning (SGR) и методологии LLM-as-a-Judge. Результаты экспериментов показали, что подход на основе примеров превосходит подход на основе шаблонов по большинству метрик, особенно в точности передачи аргументов, соблюдении официального тона и корректности оформления. Полученные результаты подтверждают потенциал решений, опирающихся на историю документооборота, для эффективной автоматизации подготовки официальных ответных писем.