Автоматизированное оценивание коротких ответов обучающихся с использованием языковых моделей
Main Article Content
Аннотация
Методы проверки ответов обучающихся с использованием языковых моделей в настоящее время исследуются разными специалистами. Результаты автоматизированного оценивания зависят от предметной области и особенностей учебной дисциплины. В работе проанализированы ответы студентов, полученные в ходе изучения курса «Компьютерная графика и дизайн». При помощи языковых моделей определены векторы документов. Предложен метод оценивания ответов через нахождение косинусного сходства полученных векторов и уточнение оценок проверкой ключевых слов. Результаты могут использоваться при предварительной проверке ответов студентов и являются базой для дальнейших исследований.
Article Details
Библиографические ссылки
2. Бухман Л.М. Проблемы тестового контроля знаний и их решение // Известия Самарского научного центра Российской академии наук. 2010. Т. 12, № 5. С. 21–24.
3. Тихонова Н.В. Организация контроля знаний студентов в условиях удаленного обучения // Казанский лингвистический журнал. 2021. Т. 4, № 1. С. 111–125.
4. Атнагулов А.А., Абрамский М.М. О подходе к автоматизации оценки знаний в области разработки программного обеспечения на основе анализа данных проектной работы // Электронные библиотеки. 2023. Т. 26, № 5. С. 589–599.
5. Жуков И.А. Система контроля знаний и практических навыков по программированию // Информатика и образование. 2023. Т. 38, № 2. С. 66–74.
6. Nevzorova O.A., Falileeva M.V., Kirillovich A.V., Lipachev E.K., Shakirova L.R., Dyupina A.E. OntoMathEdu Educational Ontology: Problems of Ontological Engineering // Pattern Recognition and Image Analysis. 2023. V. 33 (3). P. 460–466.
7. Burrows S., Gurevych I. and Stein B. The Eras and Trends of Automatic Short Answer Grading // International Journal of Artificial Intelligence in Education. 2015. V. 25. P. 60–117.
8. Yan L., Sha L., Zhao L., Li Y., Martinez-Maldonado R., Chen G., Li X., Jin Y., Gašević D. Practical and ethical challenges of large language models in education: A systematic scoping review // British Journal of Educational Technology. 2023. V. 55, Is. 1. P. 90–112.
9. Zirar A. Exploring the impact of language models, such as ChatGPT, on student learning and assessment // Review of Education.2023. V. 11, e3433.
10. Sundaram S.S., Gurajada S., Padmanabhan D., Sam Abraham S., Fisichella M. Does a language model “understand” high school math? A survey of deep learning based word problem solvers // WIREs Data Mining and Knowledge Discovery. 2024. 1534.
11. Гиниятуллин В.М., Ермолаев Е.В., Салихова М.А., Хлыбов А.В., Чурилов Д.А., Чурилова Е.А. Исследование структуры и содержания компетенций с помощью языковой модели ELMO // Современные наукоемкие технологии. 2021. № 8. С. 58–65.
12. Лагутина Н.С., Лагутина К.В., Бредерман А.М., Касаткина Н.Н. Классификация текстов по уровням CEFR с использованием методов машинного обучения и языковой модели BERT // Моделирование и анализ информационных систем. 2023. Т. 30, № 3. С. 202–213.
13. Ahmed A., Joorabchi A., Hayes M. On Deep Learning Approaches to Automated Assessment: Strategies for Short Answer Grading //In Proceedings of the 14th International Conference on Computer Supported Education (CSEDU 2022). 2022. V. 2. P. 85–94.
14. Agarwal D., Gupta S., Baghel N. ScAA: A Dataset for Automated Short Answer Grading of Children’s Free-text Answers in Hindi and Marathi // Proceedings of the 17th International Conference on Natural Language Processing, Patna, India, December 18 – 21, 2020. P. 430–436.
15. Wilianto D., Girsang A.S. Automatic Short Answer Grading on High School’s E-Learning Using Semantic Similarity Methods // TEM Journal. 2023. V. 12, Is. 1. P. 297–302.
16. Divya A., Haridas V. and Narayanan J. Automation of Short Answer Grading Techniques: Comparative Study using Deep Learning Techniques // 2023 Fifth International Conference on Electrical, Computer and Communication Technologies (ICECCT), Erode, India. 2023. P. 1–7.
17. Ярушкина Н.Г., Мошкин В.С., Константинов А.А. Применение языковых моделей word2vec и bert в задаче сентимент-анализа текстовых сообщений социальных сетей // Автоматизация процессов управления. 2020. № 3 (61). С. 60–69.
18. Минаев В.А., Симонов А.В. Сравнение моделей-трансформеров BERT при выявлении деструктивного контента в социальных медиа // Информация и безопасность. 2022. Т. 25, № 3. С. 341–348.
19. Surov I. Opening the Black Box: Finding Osgood's Semantic Factors in Word2vec Space // Informatics and Automation. 2022. V. 21, No. 5. P. 916–936.
20. Миннегалиева Ч.Б., Сабитова Г.А., Гаялиев А.М. Метод предварительной оценки ответов обучающихся на основе векторной модели документов // Электронные библиотеки. 2023. Т. 26, № 3. С. 324–339.
21. Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Hong Kong, China Association for Computational Linguistics. 2019. P. 3982–3992.
22. Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Научно-технические возможности СПбГПУ. 2018. Т. 11, № 3. С. 57–72.
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.