Автоматический морфологический анализ для осетинского языка на материале устного корпуса
Main Article Content
Аннотация
Работа посвящена созданию первого корпуса для осетинского языка с морфологической разметкой в формате Universal Dependencies. Корпус состоит из размеченных вручную текстов Устного корпуса осетинского языка, содержит 5454 предложения и имеет суммарный объём 73 042 токена. Также в работе представлен морфологический анализатор на основе архитектуры BERT, достигающий пословной корректности 95,60%. Кроме того, в работе приведены результаты экспериментов по улучшению качества классификации. Показано, что фильтрация выдачи модели с помощью бесконтекстного анализатора и многозадачный подход не приводят к значительному улучшению. Наконец, в работе представлены результаты тестирования анализатора на внедоменных данных и показано, что на них модель достигает пословной корректности 91,45%. Статья является расширением статьи конференции «Диалог».
Ключевые слова:
Article Details
Библиографические ссылки
2. Осетинский национальный корпус. URL: http://corpus.ossetic-studies.org
3. Устный корпус осетинского. URL: https://www.ossetic-studies.org/ru/texts/iron
4. Arkhangelskiy T., Belyaev O., Vydrin A. The Creation of Large-Scale Annotated Corpora of Minority Languages using UniParser and the EANC platform. // Proceedings of COLING 2012: Posters, Mumbai, India. The COLING 2012 Organizing Committee: 2012 (P. 83–92).
5. Nivre J., de Marneffe M., Ginter F., Hajic J., Manning C., Pyysalo S., Schuster S., Tyers F., Zeman D. Universal Dependencies v2: An Evergrowing Multilingual Treebank Collection. // Proceedings of the Twelfth Language Resources and Evaluation Conference, Marseille, France. European Language Resources Association: 2020 (P. 4034–4043).
6. Abaev V. A grammatical sketch of Ossetic. The Hague: Mouton, 1964.
7. Беляев О.И. Коррелятивная конструкция в осетинском языке (диссертация на соискание степени кандидата филологических наук). 2014.
8. Belyaev O. Evolution of Case in Ossetic. // Iran and the Caucasus. 2010. 14(2). С. 287–322.
9. Serdobolskaya N., Tuzhik O. Differential Object Marking in Modern Ossetic: Referential Properties and Animacy // Tomsk Journal of Linguistics and Anthropology. 2025. 48(2). P. 91–107.
10. Kondratyuk D., Straka M. 75 Languages, 1 Model: Parsing Universal Dependencies Universally. // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China. Association for Computational Linguistics: 2019 (P. 2779–2795).
11. Straka M., Straková J., Hajic, J. UDPipe at SIGMORPHON 2019: Contextualized Embeddings, Regularization with Morphological Categories, Corpora Merging. // Proceedings of the 16th Workshop on Computational Research in Phonetics, Phonology, and Morphology, Florence, Italy. Association for Computational Linguistics: 2019 (P. 95–103).
12. Devlin J., Chang M., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), Minneapolis, Minnesota. Association for Computational Linguistics: 2020 (P. 4171–4186).
13. google-bert/bert-base-multilingual-cased. URL: https://huggingface.co/google-bert/bert-base-multilingual-cased
14. Kuratov, Y., Arkhipov, M. Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language. 2019.
15. Hulden M. Foma: a Finite-State Compiler and Library // Proceedings of the Demonstrations Session at EACL 2009, Athens, Greece. Association for Computational Linguistics: 2009 (P. 29—32)
16. Inoue G., Shindo H., Matsumoto Y. Joint Prediction of Morphosyntactic Categories for Fine-Grained Arabic Part-of-Speech Tagging Exploiting Tag Dictionary Information. // Proceedings of the 21st Conference on Computational Natural Language Learning (CoNLL 2017), Vancouver, Canada. Association for Computational Linguistics: 2017 (P. 421–431).
17. Ossetic-COT. URL: https://github.com/ania3000/Ossetic-COT
18. ossetic-encoders/ossbert-morph. URL: https://huggingface.co/ossetic-encoders/ossbert-morph
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.