Уверенность LLM при построении семантических классификаций аргументов
Main Article Content
Аннотация
Исследована проблема квантификации уверенности больших языковых моделей (Large Language Model, LLM) при автоматической семантической классификации аргументов при эмотивных предикатах. На материале русскоязычных сообщений социальных сетей проанализированы глаголы страха (пугать, бояться и др.) и эмоционального отношения (нравиться, любить) с семантическими ролями экспериенцера, каузатора и объекта. В работе дано сравнение самооценки уверенности LLM Claude Sonnet 4.5 с экспертной оценкой текстов рассуждений модели при классификации аргументов по тематической области «Здравоохранение». В эксперименте использована стратифицированная выборка из 300 примеров с применением цепочки рассуждений на русском языке и четырехступенчатой шкалы уверенности. Результаты показали умеренную корреляцию Спирмена между оценками эксперта и модели. Статистически значимая связь установлена только между самооценкой модели и фактической корректностью классификации, тогда как экспертная оценка лингвистических характеристик рассуждений не зависит от точности. Сделан вывод о том, что эксплицитные рассуждения LLM не связаны напрямую с самооценкой по степени уверенности и не влияют на процесс принятия решений; они могут являться важной функциональной частью пользовательского интерфейса, но не исследовательского.
Article Details
Библиографические ссылки
2. Zolotova G.A. Ocherk funkcional`nogo sintaksisa russkogo yazy`ka. M.: Nauka, 1973. 351 p.
3. Smirnov Ivan V., Larionov Daniil S., Nikitina Elena N., Kazachonok Grigory A. LLM for Semantic Role Labeling of Emotion Predicates in Russian // Supercomputing Frontiers and Innovations. 2025. Vol. 12, No. 3. P. 31–46. https://doi.org/10.14529/jsfi250303
4. Anthropic. The Claude 3 Model Family: Opus, Sonnet, Haiku. Technical Report. 2024.
5. Xiong M. et al. Can LLMs express their uncertainty? An empirical evaluation of confidence elicitation in LLMs // arXiv: 2306.13063. 2023. https://doi.org/10.48550/arXiv.2306.13063
6. Wei J. et al. Chain-of-thought prompting elicits reasoning in large language models //Advances in neural information processing systems. 2022. Vol. 35. P. 24824–24837.
7. Tian K.et al. Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback Proc. of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP). Singapore, 2023. P. 5433–5442. https://doi.org/10.18653/v1/2023.emnlp-main.330
8. Yang D., Tsai Y.H., Yamada M. On Verbalized Confidence Scores for LLMs // arXiv: 2412.14737. 2024. https://doi.org/10.48550/arXiv.2412.14737
9. Tanneru S.H., Agarwal C., Lakkaraju H. Quantifying Uncertainty in Natural Language Explanations of Large Language Models // Proc. of the 27th International Conference on Artificial Intelligence and Statistics. PMLR, 2024. Vol. 238. https://proceedings.mlr.press/v238/harsha-tanneru24a.html (accessed 05.05.2026)
10. Larionov D.S., Nikitina E.N., Smirnov I.V. Primenenie bol`shix yazy`kovy`x modelej dlya semanticheskoj klassifikacii argumentov pri e`motivny`x predikatax // Sistemy` vy`sokoj dostupnosti. 2026. Vol. 22, No. 1. P. 12−16. https://doi.org/10.18127/j20729472-202601-02
11. Nikitina E.N., Onipenko N.K. Semantika i pragmatika vyskazyvanij s emotivnymi predikatami // Sibirskij filologicheskij zhurnal. 2022. № 2. P. 271–285. https://doi.org/10.17223/18137083/79/19.
12. Nikitina E.N., Stankevich M.A., Larionov D.S. E`motivny`e glagoly` s otriczaniem: opy`t interpretacii danny`x avtomaticheskogo analiza tekstov // Medialingvistika. 2025. T. 12. №2. S. 174–198. https://doi.org/10.21638/spbu22.2025.201
13. Lyashevskaya O., Kashkin E. FrameBank: A Database of Russian Lexical Constructions // AIST 2015. Springer, 2015. P. 350–360.
14. Paducheva E.V. Modal'nost'. Materialy dlya proekta korpusnogo opisaniya russkoj grammatiki (rusgram.ru). Na pravah rukopisi. М. 2016.
15. Kuzmin G., Strepetov P., Stankevich M., Chudova N., Shelmanov A., Smirnov I. Exploring Large Language Models for Detecting Mental Disorders // Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025. P. 34535–34559. https://doi.org/10.18653/v1/2025.emnlp-main.1752
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.