Сравнительный анализ методов повышения точности RAG-систем на специализированных корпусах нормативно-технической документации

В условиях цифровизации промышленности возрастает потребность в интеллектуальных системах поддержки принятия решений, способных эффективно извлекать знания из массивов нормативно-технической документации. В статье рассматриваются интеллектуальные вопрос-ответные системы на основе технологии генерации, дополненной поиском (Retrieval-Augmented Generation, RAG), применительно к специализированному корпусу нормативно-технических документов железнодорожной отрасли. Проводится сравнительный анализ ряда методов повышения точности RAG-систем, включая стратегии обработки запросов (HyDE, Step-Back, Multi-Query, Decomposition, Pseudo-Relevance Feedback, Recursive Refinement), двухэтапное извлечение с использованием кросс-энкодера текстовых фрагментов (вопроса и нормативного пункта), а также дообучение моделей эмбеддинга текстовых фрагментов на синтетических парах «вопрос - нормативный пункт». Эксперименты показывают, что наиболее существенный прирост качества поиска обеспечивает предметное дообучение моделей эмбеддинга. Применение кросс-энкодера также дает положительный эффект, особенно для моделей с изначально менее точным ранжированием. В то же время продвинутые стратегии обработки запросов не приводят к значимому повышению качества извлечения по сравнению с базовым подходом. Сформированные корпус документов, наборы вопросов и программный код размещены в открытом доступе.

1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / P. Lewis, E. Perez, A. Piktus [et al.] // Advances in Neural Information Processing Systems. – 2020. – Vol. 33. – P. 9459–9474.

2. Retrieval-Augmented Generation for Large Language Models: A Survey / Y. Gao, Y. Xiong, X. Gao [et al.] // arXiv. – 2023. – arXiv:2312.10997. – DOI 10.48550/arXiv.2312.10997.

3. A Review of Large Language Models in Medical Education, Clinical Decision Support, and Healthcare Administration / J. Vrdoljak, Z. Boban, M. Vilovi´c [et al.] // Healthcare. – 2025. – Vol. 13, № 6. – Art. 603. – DOI 10.3390/healthcare13060603.

4. A Comprehensive Survey of Retrieval-Augmented Large Language Models for Decision Making in Agriculture: Unsolved Problems and Research Opportunities / A. Vizniuk, G. Diachenko, I. Laktionov [et al.] // Journal of Artificial Intelligence and Soft Computing Research. – 2025. – Vol. 15, № 2. – P. 115–146. – DOI 10.2478/jaiscr-2025-0007.

5. Ершов, М. А. Интеллектуальная СППР для оценки конкурентоспособности в электронной коммерции: методология интеграции RAG-системы / М. А. Ершов // Экономика строительства. – 2025. – № 11. – С. 518–521.

6. Самофалов, Г. С. Интеграция больших языковых моделей (LLM) и RAG в контуры поддержки принятия решений (DSS) для задач ценообразования и управления спросом в розничной торговле / Г. С. Самофалов // Интернаука. – 2026. – № 16–1. – С. 38–42.

7. Cioplea, R. Memory in the Age of AI: How LLMs Remember, Forget, and Leak : Technical Report, ver. 3.0. – 2026. – 37 p. – DOI 10.17605/OSF.IO/9WXG3.

8. RAGAS: Automated Evaluation of Retrieval-Augmented Generation / S. Es, J. James, L. E. Anke, S. Schockaert // Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations. – 2024. – P. 150–158. – DOI 10.18653/v1/2024.eacl-demo.16.

9. Precise Zero-Shot Dense Retrieval without Relevance Labels / L. Gao, X. Ma, J. Lin, J. Callan // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). – 2023. – P. 1762–1777. – DOI 10.18653/v1/2023.acl-long.99.

10. Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models / H. S. Zheng, S. Mishra, X. Chen [et al.] // International Conference on Learning Representations (ICLR 2024). – 2024.

11. DMQR-RAG: Diverse Multi-Query Rewriting for RAG / Z. Li [et al.] // arXiv. – 2024. – arXiv:2411.13154. – DOI 10.48550/arXiv.2411.13154.

12. Ammann, P. J. L. Question Decomposition for Retrieval-Augmented Generation / P. J. L. Ammann, J. Golde, A. Akbik // Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop). – 2025. – P. 497–507. – DOI 10.18653/v1/2025.acl-srw.32.

13. Salton, G. Improving Retrieval Performance by Relevance Feedback / G. Salton, C. Buckley // Journal of the American Society for Information Science. – 1990. – Vol. 41, № 4. – P. 288–297.

14. Mackie, I. Generative relevance feedback with large language models / I. Mackie, S. Chatterjee, J. Dalton // Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. – 2023. – P. 2026–2031.

15. Wang, Y. MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models / Y. Wang // arXiv. – 2024. – arXiv:2408.17072. – DOI 10.48550/arXiv.2408.17072.

16. Nogueira, R. Passage Re-Ranking with BERT / R. Nogueira, K. Cho // arXiv. – 2019. – arXiv:1901.04085. – DOI 10.48550/arXiv.1901.04085.

17. M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation / J. Chen [et al.] // arXiv. – 2024. – arXiv:2402.03216. – DOI 10.48550/arXiv.2402.03216.

18. Reimers, N. Sentence-BERT: Sentence Embeddings Using Siamese BERT-Networks / N. Reimers, I. Gurevych // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). – 2019. – P. 3982–3992. – DOI 10.18653/v1/D19-1410.

19. Text Embeddings by Weakly-Supervised Contrastive Pre-Training / L. Wang, N. Yang, X. Huang [et al.] // arXiv. – 2022. – arXiv:2212.03533. – DOI 10.48550/arXiv.2212.03533.

20. MTEB: Massive Text Embedding Benchmark / N. Muennighoff, N. Tazi, L. Magne, N. Reimers // arXiv. – 2022. – arXiv:2210.07316. – DOI 10.48550/arXiv.2210.07316.

21. The Russian-focused embedders’ exploration: ruMTEB benchmark and Russian embedding model design / A. Snegirev [et al.] // arXiv. – 2024. – arXiv:2408.12503. – DOI 10.48550/arXiv.2408.12503.

22. Multilingual E5 Text Embeddings: A Technical Report / L. Wang [et al.] // arXiv. – 2024. – arXiv:2402.05672. – DOI 10.48550/arXiv.2402.05672.

23. Паршин, К. А. Исследование применения признаков терминов железнодорожной отрасли при формировании классификатора / К. А. Паршин, М. С. Подгорный // Теория и практика современной науки. – 2019. – № 3. – С. 229–232.

24. Qwen3 Technical Report / A. Yang [et al.] // arXiv. – 2025. – arXiv:2505.09388. – DOI 10.48550/arXiv.2505.09388.