Применение методов машинного обучения для повышения качества тестов
Main Article Content
Аннотация
Работа посвящена применению методов машинного обучения для повышения качества тестов. Проведен обзор предметной области и реализованы два метода повышения качества: поиск похожих вопросов и оценка качества дистракторов. Первый включает тестирование пяти моделей трансформеров для получения векторного представления текста и шесть алгоритмов кластеризации. Второй метод основан на использовании тех же моделей трансформеров совместно с тремя алгоритмами классификации. Результаты экспериментов показали высокую эффективность предложенных решений при решении обеих задач.
Ключевые слова:
Article Details
Библиографические ссылки
2. Hrich N., Azekri M., Khaldi M. An ai educational tool for detecting redundancy in distractors and items within multiple-choice tests // INTED2024 Proceedings. IATED, 2024. P. 6454–6458.
3. Аванесов В.С. Теория и практика педагогических измерений. ЦТ и МКО УГТУ-УПИ, 2005.
4. Brusilovsky P., Miller P. Web-based testing for distance education. In: P. DeBra and J. Leggett (Eds.) Proceedings of WebNet'99, World Conference of the WWW and Internet, Honolulu, HI, Oct. 24–30, 1999. AACE, P. 149–154.
5. Толстобров А.П., Коржик И.А. Возможности анализа и повышения качества тестовых заданий при использовании сетевой системы управления обучением Moodle // Вестник ВГУ. 2008. Т. 2. С. 100–106.
6. Алпацкая Е.В., Бубнов Н.В., Минченков А.В. Дифференцирующая способность тестовых материалов для оценки качества обучения // Ученые записки университета им. П.Ф. Лесгафта. 2015. № 11 (129). С. 9–14.
7. Анастази А. Психологическое тестирование. Питер, 2009.
8. Lord F.M. Applications of item response theory to practical testing problems. Routledge, 2012.
9. AlMahmoud R.H., Alian M. The effect of clustering algorithms on question answering // Expert Systems with Applications. 2024. Vol. 243. Article number 122959.
10. Zhang W.N. et al. A topic clustering approach to finding similar questions from large question and answer archives // PloS one. 2014. Vol. 9, No. 3. Article number e71511.
11. Alian M., Al-Naymat G. Questions clustering using canopy-K-means and hierarchical-K-means clustering // International Journal of Information Technology, 2022. Vol. 14, No. 7. P. 3793–3802.
12. Tarrant M., Ware J., Mohammed A. M. An assessment of functioning and non-functioning distractors in multiple-choice questions: a descriptive analysis // BMC medical education. 2009. Vol. 9. P. 1–8.
13. Moore S. et al. An automatic question usability evaluation toolkit // International Conference on Artificial Intelligence in Education. Cham: Springer Nature Switzerland, 2024. P. 31–46.
14. First Quora Dataset Release: Question Pairs // Quora, 2017. URL: https://www.quora.com/q/quoradata/First-Quora-Dataset-Release-Question-Pairs (дата обращения: 30.04.2025).
15. Quora Question Pairs Russian // Платформа Kaggle, 2022. URL: https://www.kaggle.com/datasets/loopdigga/quora-question-pairs-russian (дата обращения: 30.04.2025).
16. Hugging Face – The AI Community [Электронный ресурс]. URL: https://huggingface.co/ (дата обращения: 30.04.2025).
17. All-MiniLM-L6-v2 // Платформа Hugging Face. URL: https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2 (дата обращения: 30.04.2025).
18. Sentence-transformers/all-mpnet-base-v2 // Платформа Hugging Face. URL: https://huggingface.co/sentence-transformers/all-mpnet-base-v2 (дата обращения: 30.04.2025).
19. Paraphrase-multilingual-MiniLM-L12-v2 // Платформа Hugging Face. URL: https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 (дата обращения: 30.04.2025).
20. Gte-multilingual-base // Платформа Hugging Face. URL: https://huggingface.co/Alibaba-NLP/gte-multilingual-base (дата обращения: 30.04.2025).
21. Rubert-tiny2 // Платформа Hugging Face. URL: https://huggingface.co/cointegrated/rubert-tiny2 (дата обращения: 30.04.2025).
22. Набор данных MMLU // Платформа Hugging Face. URL: https://huggingface.co/datasets/alexandrainst/m_mmlu (дата обращения: 30.04.2025).
23. Wiki-ru-wordnet документация // URL: https://wiki-ru-wordnet.readthedocs.io/en/latest/ (дата обращения: 30.04.2025).
24. Библиотека для обработки естественного языка NLTK // URL: https://www.nltk.org/ (дата обращения: 30.04.2025).
25. Liang C. et al. Distractor generation for multiple choice questions using learning to rank // Proceedings of the thirteenth workshop on innovative use of NLP for building educational applications. 2018. Article number 28490.
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.