Большие языковые модели в задаче оценки семантической близости словоупотреблений
Main Article Content
Аннотация
В работе исследована применимость больших языковых моделей (Large Language Model, LLM) для решения задачи оценки семантической близости значений слова в паре словоупотреблений, известная как Word-in-Context (WiC) с опорой на мультиязычный бенчмарк CoMeDi. Предложены новые подходы к построению автоматических WiC-систем на основе LLM, в частности, конфигурация в которой предсказания LLM корректируются по обучающей выборке, но дообучения LLM при этом не требуется. Выполнено систематическое сравнение пяти различных конфигураций WiC-систем на основе LLM с точки зрения качества и с учетом вычислительных затрат. Результаты на тестовых выборках из семи языков показали, что предложенные подходы позволяют LLM превзойти все существующие специализированные системы, установив новый уровень качества на бенчмарке CoMeDi. Тем не менее достигнутое высокое качество сопряжено со значительным ростом вычислительных затрат: системы на базе LLM требуют на несколько порядков больше вычислений по сравнению с компактными специализированными моделями (такими как XL-DURel). Настоящая работа является одним из шагов к пониманию компромисса между точностью и ресурсоемкостью при использовании современных LLM в задачах лексической семантики.
Ключевые слова:
Article Details
Библиографические ссылки
2. Tahmasebi N., Borin L., Jatowt A., Xu Y., Hengchen S. Computational Approaches to Semantic Change. Berlin: Language Science Press, 2021.https://doi.org/10.5281/zenodo.5040241
3. Hendy A. et al. How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation // arXiv:2302.09210 [cs.CL], 2023. https://doi.org/10.48550/arXiv.2302.09210
4. Liang P. et al. Holistic Evaluation of Language Models // arXiv: 2211.09110 [cs.CL], 2022. https://doi.org/10.48550/arXiv.2211.09110
5. Schlechtweg D., Schulte im Walde S., Eckmann S. Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change // Proc. of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Vol. 2. New Orleans, Louisiana, June 2018. Association for Computational Linguistics, 2018. P. 169–174. https://doi.org/10.18653/v1/N18-2027.
6. Arefyev N., Fedoseev M., Protasov V., Homskiy D., Davletov A., Panchenko A. DeepMistake: Which Senses are Hard to Distinguish for a Word-in-Context Model // Computational Linguistics and Intellectual Technologies (Dialog 2021). Russian Federation, 2021. 20. P. 16–30.
7. Cassotti P., Siciliani L., DeGemmis M., Semeraro G., Basile P. XL-LEXEME: WiC Pretrained Model for Cross-Lingual LEXical sEMantic changE // Proc. of the 61st Annual Meeting of the Association for Computational Linguistics. Vol. 2. Toronto, Canada, July 2023. Association for Computational Linguistics, 2023. С. 1577–1585. https://doi.org/10.18653/v1/2023.acl-short.135
8. Yadav S., Schlechtweg D. XL-DURel: Finetuning Sentence Transformers for Ordinal Word-in-Context Classification // arXiv:2507.14578 [cs.CL], 2025.https://doi.org/10.48550/arXiv.2507.14578
9. Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding // arXiv:1810.04805 [cs.CL], 2018. https://doi.org/10.48550/arXiv.1810.04805
10. Conneau A. et al. Unsupervised Cross-lingual Representation Learning at Scale // arXiv:1911.02116 [cs.CL], 2019. https://doi.org/10.48550/arXiv.1911.02116
11. Loke Y. X., Schlechtweg D., Zhao W. ABDN-NLP at CoMeDi Shared Task: Predicting the Aggregated Human Judgment via Weighted Few-Shot Prompting // Proc. of Context and Meaning: Navigating Disagreements in NLP Annotation. Abu Dhabi, UAE, January 2025. International Committee on Computational Linguistics, 2025. P. 122–128.
12. Periti F., Tahmasebi N. A Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change // Proc. of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Vol. 1. Mexico City, Mexico, June 2024. Association for Computational Linguistics, 2024. P. 4262–4282. https://doi.org/10.18653/v1/2024.naacl-long.240
13. Yadav S., Choppa T., Schlechtweg D. Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4 // arXiv:2407.04130 [cs.CL], 2024. https://doi.org/10.48550/arXiv.2407.04130
14. Zamora-Reina F. D., Bravo-Marquez F., Schlechtweg D., Arefyev N. Can Large Language Models Compete with Specialized Models in Lexical Semantic Change Detection? // ECAI 2025. Frontiers in Artificial Intelligence and Applications. Vol. 413. IOS Press, 2025. P. 4201–4208. https://doi.org/10.3233/FAIA251313.
15. Schlechtweg D., Choppa T., Zhao W., Roth M. CoMeDi Shared Task: Median Judgment Classification & Mean Disagreement Ranking with Ordinal Word-in-Context Judgments // Proc. of Context and Meaning: Navigating Disagreements in NLP Annotation. Abu Dhabi, UAE, January 2025. International Committee on Computational Linguistics, 2025. P. 33–47.
16. Yang A. et al. Qwen3 Technical Report // arXiv:2505.09388 [cs.CL], 2025. https://doi.org/10.48550/arXiv.2505.09388
17. Krippendorff K. Content Analysis: An Introduction to Its Methodology. 4th ed. Thousand Oaks, CA: SAGE Publications, 2018.
18. Sakai T. Evaluating Evaluation Measures for Ordinal Classification and Ordinal Quantification // Proc. of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Vol. 1. Online, August 2021. Association for Computational Linguistics, 2021. P. 175–187. https://doi.org/10.18653/v1/2021.acl-long.15
19. Kuklin M., Arefyev N. Deep-change at CoMeDi: The Cross-Entropy Loss is not All You Need // Proc. of Context and Meaning: Navigating Disagreements in NLP Annotation. Abu Dhabi, UAE, January 2025. International Committee on Computational Linguistics, 2025. P. 48–64.
20. Li X., Li J. AnglE-optimized Text Embeddings // arXiv: 2309.12871. 2023. https://doi.org/10.48550/arXiv.2309.12871
21. Schlechtweg D., Tahmasebi N., Hengchen S., Dubossarsky H., McGillivray B. DWUG: A large Resource of Diachronic Word Usage Graphs in Four Languages // Proc. of the 2021 Conference on Empirical Methods in Natural Language Processing. Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics, 2021. P. 7079–7091. https://doi.org/10.18653/v1/2021.emnlp-main.567
22. Khattab O. et al. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines // arXiv: 2310.03714 [cs.CL], 2023. https://doi.org/10.48550/arXiv.2310.03714
23. Shao Z. et al. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models // arXiv:2402.03300 [cs.CL], 2024. https://doi.org/10.48550/arXiv.2402.03300
24. DeepSeek-AI, Guo D. et al. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning // arXiv:2501.12948 [cs.CL]. https://doi.org/10.1038/s41586-025-09422-z
25. Woosuk K. et al. Efficient Memory Management for Large Language Model Serving with PagedAttention // Proc. of the ACM SIGOPS 29th Symposium on Operating Systems Principles. 2023. https://doi.org/10.1145/3600006.3613165
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.