Онтологический подход к оценке графов знаний в доменной области машиностроительных систем полного жизненного цикла
Main Article Content
Аннотация
Работа посвящена проблеме применения онтологического подхода при построении датасета для оценки и сравнения систем обогащения контекста большой языковой модели с использованием графов знаний в доменной области машиностроительных систем полного жизненного цикла. В доменной области сложно получить необходимое количество текстовых данных с формальной логической структурой для формирования оценочного набора без использования сгенерированных синтетических данных. Для исключения внесения искажений и галлюцинаций при формировании оценочного набора предложено оригинальное решение проблемы дефицита данных за счет извлечения онтологии непосредственно из файлов изделий и сборок, соответствующих стандарту STandard for Exchange of Product model data что потенциально позволяет использовать все данные об изделиях как источник для масштабирования оценочных данных. Целью работы стали создание датасета структурированных текстовых данных в доменной области машиностроительных систем полного жизненного цикла, разработка методики оценки и реализация конвейеров обогащения контекста большой языковой модели с применением и без применения графов знаний для анализа вклада систем с извлечением структуры данных в качество генерируемых ответов. Предложен новый источник оценочных данных, разработана новая методика формирования текстовых оценочных данных с сохранением логической структуры, реализован конвейер для использования сгенерированных оценочных данных. Получены результаты оценки, подтверждающие положительный вклад систем с извлечением структурированных данных в качество генерируемых ответов в доменной области машиностроительных систем полного жизненного цикла.
Article Details
Библиографические ссылки
2. Xiang Z. et al. When to use Graphs in RAG: A Comprehensive Analysis for Graph Retrieval-Augmented Generation // arXiv: 2506.05690. https://doi.org/10.48550/arXiv.2506.05690
3. Han H. et al. Rag vs. graphrag: A systematic Evaluation and Key Insights // arXiv: 2502.11371. 2025. https://doi.org/10.48550/arXiv.2502.11371
4. Han H. et al. Retrieval-Augmented Generation with Graphs (GraphRAG) // arXiv: 2501.00309. 2024. https://doi.org/10.48550/arXiv.2501.00309
5. Gajderowicz B., Bhardwaj A., Fox M. RAG and Ontologies for Information Retrieval: A Literature Review. 2025. URL: https://eil.mie.utoronto.ca/wp-content/uploads/2025/09/ONTOLLM_2025_Aug20v11.pdf
6. Huang Y., Fung T.Y., DeLaurentis D.A. Addressing Complexity in System of Systems With GraphRAG: An AI‐Driven Framework for Dynamic Data Integration // Systems Engineering. 2025. e70012. https://doi.org/10.1002/sys.70012
7. da Cruz T., Tavares B., Belo F. Ontology Learning and Knowledge Graph Construction: A Comparison of Approaches and Their Impact on RAG Performance // arXiv: 2511.05991. 2025. https://doi.org/10.48550/arXiv.2511.05991
8. GOST R 56862-2016. Nacional'nyj standart Rossijskoj Federacii “Sistema upravlenia ziznennym ciklom. Razrabotka koncepcii izdelia i tehnologij. Terminy i opredelenia”. URL: https://protect.gost.ru/document.aspx?control=7&id=202875 (last access: 12.02.2026)
9. GOST R ISO 10303-1-2022. Nacional'nyj standart Rossijskoj Federacii “Sistemy avtomatizacii proizvodstva i ih integracia. Predstavlenie dannyh ob izdelii i obmen etimi dannymi. Cast' 1. Obsie predstavlenia i osnovopolagausie principy (ISO 10303-1:2021, IDT)” URL: https://meganorm.ru/Data/792/79232.pdf
10. Kwon S., Monnier L.V., Barbau R., Bernstein W.Z. A New Implementation of OntoSTEP: Flexible Generation of Ontology and Knowledge Graphs of EXPRESS-Driven Data // ASME Journal of Computing and Information Science in Engineering. 2022. Vol. 22 (2). 024502. https://doi.org/10.1115/1.4053079
11. Stepcode. URL: https://github.com/stepcode/stepcode/tree/develop/ data/ ap214e3
12. Zhang Q. et al. A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models // arXiv: 2501.13958. 2025.https://doi.org/10.48550/arXiv.2501.13958
13. Fuchs N.E., Kaljurand K., Kuhn T. Attempto controlled english for knowledge representation //Reasoning Web: 4th International Summer School 2008, Venice, Italy, September 7–11, 2008, Tutorial Lectures. Berlin, Heidelberg: Springer Berlin Heidelberg, 2008. P. 104–124. https://doi.org/10.1007/978-3-540-85658-0
14. Zaitoun A., Sagi T., Peleg M. Generating ontology-learning training-data through verbalization //Proc. of the AAAI Symposium Series. 2024. Vol. 4. No.1. P. 233–241. https://doi.org/10.1609/aaaiss.v4i1.31797
15. Fuchs N.E. et al. Attempto controlled english: A knowledge representation language readable by humans and machines // Reasoning Web: First International Summer School 2005. Springer Berlin Heidelberg, 2005. P. 213–250. https://doi.org/10.1007/11526988_6
16. Dong S. et al. Knowledge-Graph Based RAG System Evaluation Framework // arXiv: 2510.02549. 2025. https://doi.org/10.48550/arXiv.2510.02549
17. Chen E. et al. Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on Math Textbook // arXiv: 2509.16780. 2025. https://doi.org/10.48550/arXiv.2501.13958
18. Xiao Y. et al. GraphRAG-Bench: Challenging Domain-Specific Reasoning for Evaluating Graph Retrieval-Augmented Generation // arXiv: 2506.02404. 2025. https://doi.org/10.48550/arXiv.2506.02404
19. Es S. et al. Ragas: Automated evaluation of retrieval augmented generation // Proc. of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations. 2024. P. 150–158. https://doi.org/10.48550/arXiv.2309.15217
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Представляя статьи для публикации в журнале «Электронные библиотеки», авторы автоматически дают согласие предоставить ограниченную лицензию на использование материалов Казанскому (Приволжскому) федеральному университету (КФУ) (разумеется, лишь в том случае, если статья будет принята к публикации). Это означает, что КФУ имеет право опубликовать статью в ближайшем выпуске журнала (на веб-сайте или в печатной форме), а также переиздавать эту статью на архивных компакт-дисках журнала или включить в ту или иную информационную систему или базу данных, производимую КФУ.
Все авторские материалы размещены в журнале «Электронные библиотеки» с ведома авторов. В случае, если у кого-либо из авторов есть возражения против публикации его материалов на данном сайте, материал может быть снят при условии уведомления редакции журнала в письменной форме.
Документы, изданные в журнале «Электронные библиотеки», защищены законодательством об авторских правах, и все авторские права сохраняются за авторами. Авторы самостоятельно следят за соблюдением своих прав на воспроизводство или перевод их работ, опубликованных в журнале. Если материал, опубликованный в журнале «Электронные библиотеки», с разрешения автора переиздается другим издателем или переводится на другой язык, то ссылка на оригинальную публикацию обязательна.
Передавая статьи для опубликования в журнале «Электронные библиотеки», авторы должны принимать в расчет, что публикации в интернете, с одной стороны, предоставляют уникальные возможности доступа к их материалам, но, с другой, являются новой формой обмена информацией в глобальном информационном обществе, где авторы и издатели пока не всегда обеспечены защитой от неправомочного копирования или иного использования материалов, защищенных авторским правом.
При использовании материалов из журнала обязательна ссылка на URL: http://rdl-journal.ru. Любые изменения, дополнения или редактирования авторского текста недопустимы. Копирование отдельных фрагментов статей из журнала разрешается для научных исследований, персонального использования, коммерческого использования до тех пор, пока есть ссылка на оригинальную статью.
Запросы на право переиздания или использования любых материалов, опубликованных в журнале «Электронные библиотеки», следует направлять главному редактору Елизарову А.М. по адресу: amelizarov@gmail.com
Издатели журнала «Электронные библиотеки» не несут ответственности за точки зрения, излагаемые в публикуемых авторских статьях.
Предлагаем авторам статей загрузить с этой страницы, подписать и выслать в адрес издателя журнала по электронной почте скан Авторского договора о передаче неисключительных прав на использование произведения.