RusHallu-RAG: комплексный подход к обнаружению галлюцинаций в русскоязычных RAG-системах
Main Article Content
Аннотация
Представлен RusHallu-RAG – первый комплексный бенчмарк для обнаружения галлюцинаций в русскоязычных RAG-системах. Набор данных из 1000 пар «запрос – ответ» охватывает области общего знания и научных текстов с контролируемой балансировкой релевантности контекста. Предложена детализированная таксономия из шести типов галлюцинаций, использованная для разметки на уровне всего ответа и отдельных его фрагментов с привлечением экспертов и больших языковых моделей.
Для обучения детектора собран сбалансированный тренировочный датасет объемом 3000 примеров с применением синтетических методов генерации. На его основе методом SFT обучен детектор на базе YandexGPT-5-Lite-8B. Проведена оценка 15 моделей с открытыми и закрытыми весами, а также обученного детектора. Результаты показали, что число параметров не гарантирует высокой производительности: модели среднего размера (20–33 млрд) иногда превосходят более крупные. Обученный детектор достигает средней точности 63.7%, занимая второе место после закрытой Gemini-2.5-Pro, с приростом 47.2 п.п. относительно исходной модели. Разрыв между закрытыми и открытыми моделями сокращается с 20–35 до 8.4 п.п., что подтверждает эффективность подхода. Бенчмарк, код и обученная модель опубликованы в открытом доступе.
Article Details
Библиографические ссылки
2. Agarwal V., et al. MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models // Findings of the Association for Computational Linguistics: ACL 2025. 2025. https://doi.org/10.1609/icwsm.v20i1.42623
3. Liu T., Zhang Y., Brockett C., Mao Y., Sui Z., Chen W., Dolan B. A Token-Level Reference-Free Hallucination Detection Benchmark for Free-Form Text Generation // Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers). Dublin, Ireland, May 2022. P. 6723–6737. https://doi.org/10.18653/v1/2022.acl-long.464
4. Li J., Cheng X., Zhao X., Nie J.-Y., Wen J.-R. HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models // Proc. of the 2023 Conference on Empirical Methods in Natural Language Processing. Singapore, December 2023. P. 6449–6464. https://doi.org/10.18653/v1/2023.emnlp-main.397
5. Niu C., Wu Y., Zhu J., Xu S., Shum K., Zhong R., Song J., Zhang T. RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models // Proc. of the 62nd Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers). Bangkok, Thailand, August 2024. P. 10862–10878. 5. https://doi.org/10.18653/v1/2024.acl-long.585
6. Zhu Z., Yang Y., Sun Z. HaluEval-Wild: Evaluating Hallucinations of Language Models in the Wild // Advances in Neural Information Processing Systems. 2024. Vol. 37. https://doi.org/10.48550/arXiv.2403.04307
7. Vazquez R., et al. SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared-Task on Hallucinations and Related Observable Overgeneration Mistakes // Proc. of the 19th International Workshop on Semantic Evaluation (SemEval-2025). Vienna, Austria, July 2025. P. 2472–2497. URL: https://aclanthology.org/2025.semeval-1.322/.
8. Chernogorskii F., et al. DRAGOn: Designing RAG on periodically updated corpus // Proc. of the 19th Conference of the European Chapter of the Association for Computational Linguistics (Vol. 4: Student Research Workshop). 2026. P. 622–638. https://doi.org/10.18653/v1/2026.eacl-srw.48
9. Xiong G., Jin Q., Lu Z., Zhang A. Benchmarking Retrieval-Augmented Generation for Medicine // Findings of the Association for Computational Linguistics: ACL 2024. Bangkok, Thailand, August 2024. С. 6233–6251. 9. https://doi.org/10.18653/v1/2024.findings-acl.372
10. Tang Y., Yang Y. Multihop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries // arXiv:2401.15391. 2024. 10. https://doi.org/10.48550/arXiv.2401.15391
11. Yang X. et al. CRAG – Comprehensive RAG Benchmark // Advances in Neural Information Processing Systems. 2024. Vol. 37. P. 10470–10490. 11. https://doi.org/10.52202/079017-0335
12. Pipitone N., Alami G.H. LegalBench-RAG: A Benchmark for Retrieval-Augmented Generation in the Legal Domain // arXiv:2408.10343. 2024. 12. https://doi.org/10.48550/arXiv.2408.10343
13. Es S., James J., Espinosa Anke L., Schockaert S. RAGAs: Automated Evaluation of Retrieval Augmented Generation // Proc. of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations. St. Julians, Malta, March 2024. P. 150–158. 13. https://doi.org/10.18653/v1/2024.eacl-demo.16
14. Saad-Falcon J., Khattab O., Potts C., Zaharia M. ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems // Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Vol. 1: Long Papers). Mexico City, Mexico, June 2024. P. 338–354. https://doi.org/10.18653/v1/2024.naacl-long.20
15. Friel R., Belyi M., Sanyal A. RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems // arXiv:2407.11005. 2024. 15. https://doi.org/10.48550/arXiv.2407.11005
16. Wang Z., et al. RAGRouter-Bench: A Dataset and Benchmark for Adaptive RAG Routing // arXiv:2602.00296. 2026. https://doi.org/10.48550/arXiv.2602.00296
17. Bao F.S., et al. FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs // Proc. of the 2025 Conference of the Nations of the Americas Chapter of the Association for Computational Linguistics: Human Language Technologies (Vol. 2: Short Papers). Albuquerque, New Mexico, April 2025. P. 448–461. https://doi.org/10.18653/v1/2025.naacl-short.38
18. Tamber M.S., et al. Benchmarking LLM Faithfulness in RAG with Evolving Leaderboards // Proc. of the 2025 Conference on Empirical Methods in Natural Language Processing: Industry Track. Suzhou (China), November 2025. P. 799–811. 18. https://doi.org/10.18653/v1/2025.emnlp-industry.54
19. Efimov P., Chertok A., Boytsov L., Braslavski P. SberQuAD–Russian Reading Comprehension Dataset: Description and Analysis // 11th Conference and Labs of the Evaluation Forum, CLEF 2020. Springer Science and Business Media Deutschland GmbH, 2020. P. 3–15. https://doi.org/10.1007/978-3-030-58219-7_1
20. Vatolin A., Gerasimenko N., Ianina A., Vorontsov K. RuSciBench: Open Benchmark for Russian and English Scientific Document Representations // Doklady Mathematics. 2024. Vol. 110. P. S251–S260. 20. https://doi.org/10.1134/S1064562424602191
21. Chen J., et al. AIR-Bench: Automated Heterogeneous Information Retrieval Benchmark // Proc. of the 63rd Annual Meeting of the Association for Computational Linguistics (Vol. 1: Long Papers). Vienna, Austria, July 2025. P. 19991–20022. https://doi.org/10.18653/v1/2025.acl-long.982.
22. Chen J., et al. M3-Embedding: Multilinguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation // Findings of the Association for Computational Linguistics: ACL 2024. Bangkok, Thailand, August 2024. P. 2318–2335. https://doi.org/10.18653/v1/2024.findings-acl.137
23. Kovalev G., Tikhomirov M., Kozhevnikov E., Kornilov M., Loukachevitch N. Building Russian Benchmark for Evaluation of Information Retrieval Models // arXiv:2504.12879. 2025. https://doi.org/10.48550/arXiv.2504.12879
24. Kwon W., et al. Efficient Memory Management for Large Language Model Serving with PagedAttention // Proc. of the 29th Symposium on Operating Systems Principles, SOSP '23. New York, NY, USA: Association for Computing Machinery, 2023. P. 611–626. https://doi.org/10.1145/3600006.3613165
25. Tkachenko M., Malyuk M., Holmanyuk A., Liubimov N. Label Studio: Data Labeling Software. 2020–2025. URL: https://github.com/HumanSignal/label-studio (Accessed 20.08.2026).
26. Lin C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries // Text Summarization Branches Out. Barcelona, Spain, July 2004. P. 74–81. URL: https://aclanthology.org/W04-1013/ (Accessed: 20.08.2026).
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.