Система ограничений генерации для устранения структурных ошибок при создании дерева зависимостей с помощью большой языковой модели
Main Article Content
Аннотация
Для синтаксического анализа естественного языка перспективным направлением является дообучение больших языковых моделей для генерации синтаксической структуры предложения в виде скобочной последовательности формата Grammatical Relation Centered Tree (GRCT). Существующие дообученные модели демонстрируют высокие значения метрик оценки качества синтаксического анализа, однако в некоторых случаях генерируют некорректную скобочную последовательность (например, с несбалансированным числом открывающих и закрывающих скобок). В работе разработан метод, позволяющий уменьшить количество некорректно сгенерированых последовательностей. Для этого создана многоэтапная система ограничений субтокенов, генерируемых на каждом этапе работы большой языковой модели. Реализация этого метода протестирована на 4 моделях (адаптированные и неадаптированные модели размерами 4 и 8 млрд параметров) на датасете деревьев зависимостей SynTagRus. Для всех моделей количество некорректно сгенерированных последовательностей уменьшилось. Дополнительно установлено, что такие ограничения на генерацию влияют на качество собственно синтаксического анализа (может происходить повышение или понижение метрик оценки качества синтаксического анализа). Реализованная система ограничений может быть использована для повышения надежности работы любой большой языковой модели, дообученной для синтаксического анализа в формате скобочной последовательности GRCT. Полученные результаты опубликованы в открытом доступе.
Article Details
Библиографические ссылки
2. Vasiliev S., Korobkin D., Fomenkov S. Extracting the Component Composition Data of Inventions from Russian Patents using Dependency Tree Analysis // 2023 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi. 2023. P. 1030–1034. https://doi.org/10.1109/ICIEAM57311.2023.10139170
3. Alonso M. A., Gómez-Rodríguez C., Vilares J. On the use of parsing for named entity recognition // Applied sciences. 2021. Vol. 11 (3). 1090. https://doi.org/10.3390/app11031090
4. Nikolaev I.E. Knowledge and skills extraction from the job requirements texts // Ontology of Designing. 2023. Vol. 13 (2). P. 282–293. https://doi.org/10.18287/2223-9537-2023-13-2-282-293
5. Morozov D. et al. Exploring the Feature Space for Cross-Domain Assessing the Complexity of Russian-Language Texts // 2024 Ivannikov ISPRAS Open Conference, Moscow. 2024. P. 1–8. https://doi.org/10.1109/ISPRAS64596.2024.10899137
6. Liu T., Sun Y., Wu J. et al. Unsupervised Paraphrasing under Syntax Knowledge // Proc. of the AAAI Conference on Artificial Intelligence. 2023. P. 13273–13281. https://doi.org/10.1609/aaai.v37i11.26558
7. Taufiq U., Pulungan R., Suyanto Y. Named entity recognition and dependency parsing for better concept extraction in summary obfuscation detection // Expert Systems with Applications. 2023. Vol. 217. 119579. https://doi.org/10.1016/j.eswa.2023.119579
8. Chen D., Manning C.D. A fast and accurate dependency parser using neural networks // Proc. of the Conference on Empirical Methods in Natural Language Processing, Doha, Qatar. 2014. P. 740–750. https://doi.org/10.1016/j.eswa.2023.11957910.3115/v1/D14-1082
9. Andor D., Alberti C., Weiss D. et al. Globally normalized transition-based neural networks // Proc. of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), Berlin, Germany. 2016. P. 2442–2452. https://doi.org/10.1016/j.eswa.2023.11957910.18653/v1/P16-123
10. Dozat T., Manning C.D. Deep Biaffine Attention for Neural Dependency Parsing // International Conference on Learning Representations. 2017.
11. Ezquerro A., Gómez-Rodríguez C., Vilares D. Better Benchmarking LLMs for Zero-Shot Dependency Parsing // Proc. of the Joint 25th Nordic Conference on Computational Linguistics and 11th Baltic Conference on Human Language Technologies (NoDaLiDa/Baltic-HLT 2025), Tallinn, Estonia. 2025. P. 121–135.
12. Hromei C. D., Croce D., Basili R. U-DepPLLaMA: Universal Dependency Parsing via Auto-regressive Large Language Models // IJCoL. Italian Journal of Computational Linguistics. 2024. Vol. 10 (1). https://doi.org/10.1016/j.eswa.2023.11957910.4000/125nm
13. Lin B. et al. ChatGPT is a potential zero-shot dependency parser // arXiv:2310.16654. https://doi.org/10.48550/arXiv.2310.16654
14. Matsuda H., Ma C., Asahara M. Step-by-step Instructions and a Simple Tabular Output Format Improve the Dependency Parsing Accuracy of LLMs // Proc. of the 18th International Conference on Parsing Technologies (IWPT, SyntaxFest 2025), Ljubljana, Slovenia. Association for Computational Linguistics: 2025. P. 11–19.
15. Zhou H., Chersoni E., Hsu Y. Y. Branching Out: Exploration of Chinese Dependency Parsing with Fine-tuned Large Language Models // Conference on Recent Advances in Natural Language Processing (RANLP 2025), Varna, Bulgaria. INCOMA Ltd: 2025. P. 1437–1445.
16. Tian Y., Xia F., Song Y. Large language models are no longer shallow parsers // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics, Thailand. Association for Computational Linguistics: 2024. P. 7131–7142.
17. Bai X., Wu J., Chen Y., Wang Z., Zhang Y. Constituency parsing using llms // IEEE Transactions on Audio, Speech and Language Processing IEEE. 2025. Vol. 33. P. 3762–3775. https://doi.org/10.1109/TASLPRO.2025.3600867
18. Ginn M., Palmer A. LLM Dependency Parsing with In-Context Rules // Proc. of the 1st Joint Workshop on Large Language Models and Structure Modeling, Vienna, Austria. Association for Computational Linguistics. 2025. P. 189–196.
19. Kim T. Revisiting the practical effectiveness of constituency parse extraction from pretrained language models // Proc. of the 29th International Conference on Computational Linguistics, Gyeongju, Republic of Korea. International Committee on Computational Linguistics. 2022. P. 5398–5408.
20. Sun X. et al. Pushing the Limits of ChatGPT on NLP Tasks // arXiv: 2306.09719. 2023. https://doi.org/10.48550/arXiv.2306.09719
21. Zeman D., Hajic J., Popel M. et al.CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies // Proc. of the CoNLL 2017 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Vancouver, Canada. 2017. P. 1–19. https://doi.org/10.18653/v1/K17-3001
22. Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with learned embedding propagation // Journal of Language and Education. 2024. Vol. 10, No.4 (40). P. 130–145. https://doi.org/10.17323/jle.2024.22224
23. Shamaeva E.D. Sravnenie neirosetevih sintaksicheskih analyzatorov dlya ruskogo yazika // Komp'uternaya lingvistika i vichislitelnie ontologii. 2025. No. 1. P. 26–47. https://doi.org/10.17586/3033-5582-2025-9-26-47
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.