Методы проверки ответов обучающихся с использованием языковых моделей в настоящее время исследуются разными специалистами. Результаты автоматизированного оценивания зависят от предметной области и особенностей учебной дисциплины. В работе проанализированы ответы студентов, полученные в ходе изучения курса «Компьютерная графика и дизайн». При помощи языковых моделей определены векторы документов. Предложен метод оценивания ответов через нахождение косинусного сходства полученных векторов и уточнение оценок проверкой ключевых слов. Результаты могут использоваться при предварительной проверке ответов студентов и являются базой для дальнейших исследований. 

Рассмотрено применение векторных моделей для предварительного анализа ответов студентов, сформулированных в свободной форме. Векторные представления слов и документов получены при помощи моделей word2vec, doc2vec, BERT. Сходство ответа, данного обучающимся, и корректного ответа определялось с использованием косинусной меры. Выявлено, что векторные модели позволяют определить явно неверные ответы с достаточной точностью. Для ответов, которые близки по формулировке, предлагается провести дополнительный этап проверки. При помощи word2vec выполнена двоичная классификация ответов на определенные вопросы, приведены оценки точности, полноты, F1-меры.

Исследованы две модификации рекуррентных нейронных сетей: сети с долгой краткосрочной памятью и сети с управляемым рекуррентным блоком с добавлением механизма внимания к обеим сетям, а также модель Transformer в задаче генерации запросов к поисковым системам. В качестве модели Transformer использована модель GPT-2 от OpenAI, которая обучалась на запросах пользователей. Проведен латентно-семантический анализ для определения семантических сходств между корпусом пользовательских запросов и запросов, генерируемых нейронными сетями. Для проведения анализа корпус был переведен в формат bag of words, к нему применена модель TFIDF, проведено сингулярное разложение. Семантическое сходство вычислялось на основе косинусной меры. Также для более полной оценки применимости моделей к задаче был проведен экспертный анализ для оценки связности слов в искусственно созданных запросах.