Прагматические границы приветствий и прощаний: оценка LLM на материале мультимедийного корпуса речевого этикета
Main Article Content
Аннотация
Исследована способность больших языковых моделей выявлять в русскоязычных диалогах последовательности приветствий и прощаний и определять их точные прагматические границы. Рассмотрены YandexGPT 5.1 Pro, GigaChat 2 Max и GPT-5 с целью: классификации диалогов по наличию указанных последовательностей и извлечении отдельных высказываний с учетом их интенциональных границ. На материале 216-ти диалогов из «Мультимедийного корпуса речевого этикета русского языка» проведен эксперимент, позволивший учесть широкий коммуникативный и социальный контекст взаимодействия. GPT-5 продемонстрировал наиболее высокое качество классификации на уровне диалога, тогда как YandexGPT и GigaChat достигли почти идеальной точности за счет консервативных стратегий. При извлечении точных границ качество всех моделей заметно снижается. Анализ ошибок показал, что модели систематически включают лишние контекстуальные невербальные действия и пропускают нестандартные маркеры: жесты, формы обращения, дискурсивные маркеры и импликатуры, указывающие на будущий контакт. Представлены актуализированное описание корпуса, его веб-интерфейс, а также возможности формирования диагностических подкорпусов и бенчмарков. Полученные результаты подчеркивают необходимость более точного учета структуры дискурса и контекстуальной вариативности повседневного общения.
Article Details
Библиографические ссылки
2. Kádár D.Z., Haugh M. Understanding politeness. Cambridge University Press, 2013.
3. Schegloff E.A. Sequence Organization in Interaction: A Primer in Conversation Analysis I. Cambridge University Press, 2007.
4. Ruis L. et al. The goldilocks of pragmatic understanding: Fine-tuning strategy matters for implicature resolution by LLMs // arXiv:2210.14986. 2024.
https://doi.org/10.48550/arXiv.2210.14986
5. Jian M., Narayanaswamy S. Are LLMs good pragmatic speakers? //
arXiv:2411.01562. 2024. https://doi.org/10.48550/arXiv.2411.01562
6. Hu J., Floyd S., Jouravlev O., Fedorenko E., Gibson E. A fine-grained comparison of pragmatic language understanding in humans and language models // Proc. of the 61st Annual Meeting of the Association for Computational Linguistics. 2023. Vol. 1. P. 4194–4213.
7. Lipkin B., Wong L., Grand G., Tenenbaum J.B. Evaluating statistical language models as pragmatic reasoners. // arXiv:2305.01020. 2023.
https://doi.org/10.48550/arXiv.2305.01020
8. Iida A., Okuoka K., Omori T., Nakashima R., Osawa M. LLM-based evaluation of utterances with implicature understanding: A preliminary study // Proc. of the 13th International Conference on Human-Agent Interaction. 2025. P. 485–487. https://doi.org/10.1145/3765766.3765841
9. Yerukola A., Vaduguru S., Fried D., Sap M. Is the pope catholic? Yes, the pope is catholic. Generative evaluation of non-literal intent resolution in LLMs // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. Vol. 2. P. 265–275.
10. Liu R., Sumers T. R., Dasgupta I., Griffiths T.L. How do large language models navigate conflicts between honesty and helpfulness? // Proc. of the 41st International Conference on Machine Learning. 2024. P. 31844–31865.
11. Chen Z., Yang R., Zhao Z., Cai D., He X. Dialogue act recognition via CRF-attentive structured network // Proc. of the 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. 2018. P. 225–234.
12. Qamar A., Tong J., Huang R. Do LLMs understand dialogues? A case study on dialogue acts. // Proc. of the 63rd Annual Meeting of the Association for Computational Linguistics. 2025. Vol. 1. P. 26219–26237.
13. Schegloff E., Sacks H. Opening up closings // Semiotica. 1973. Vol. 8, No. 4. P. 289–327.
14. Klokova K., Krongauz M., Shulginov V., Yudina T. Towards a russian multimedia politeness corpus. // Proc. of the International Conference “Dialogue 2023”. 2023. P. 233–244.
15. Terkourafi M. An argument for a frame-based approach to politeness: Evidence from the use of the imperative in Cypriot Greek // Pragmatics and beyond. New series. 2005. Vol. 139. P. 99–116.
16. Laver J. Communicative Functions of Phatic Communion // Organisation of Behaviour in Face-to-face Interaction. 1975. P. 215–238.
17. Laver J. Linguistic Routines and Politeness in Greeting and Parting // Conversational routines. 1981. P. 289–305.
18. Brown T.B. et al. Language models are few-shot learners // arXiv:2005.14165. 2020. https://doi.org/10.48550/arXiv.2005.14165
19. Winkler W. E. String comparator metrics and enhanced decision rules in the fellegi-sunter model of record linkage // Proc. of the Section on Survey Research. 1990. P. 354–359.
20. Cahyono S.C. Comparison of document similarity measurements in scientific writing using jaro-winkler distance method and paragraph vector method // IOP Conference Series: Materials Science and Engineering. 2019. Vol. 662, No. 5. https://doi.org/10.1088/1757-899X/662/5/052016
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.