inttransИнтеллектуальный транспортIntelligent transport3033-6007АО «НИИАС»inttrans-24Research ArticleИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ И МАШИННОЕ ОБУЧЕНИЕOMLS-Bench: многоуровневый бенчмарк LLM для программной инженерииOMLS-Bench: a multi-level benchmark for engineering LLMSЯрушевС. А.YarushevS. A.

Ярушев Сергей Александрович, к.т.н., директор научного центра

Москва

Sergey A. Yarushev, Ph.D. in Engineering, Director of the Research Center

Moscow

Yarushev.SA@rea.ruАнуровА. О.AnurovA. O.

Ануров Александр Олегович, лаборант-исследователь

Москва

Alexandr O. Anurov, research assistant

Moscow

Anurov.AO@rea.ruБулгаковГ. Г.BulgakovG. G.

Булгаков Геннадий Геннадьевич, аспирант

Москва

Gennadii G. Bulgakov, postgraduate student

Moscow

g.bulgak0v@list.ruРоссийский Экономический Университет им. Г.В. ПлехановаРоссияFederal Research Center «Computer Science and Control» of the Russian Academy of SciencesRussian FederationРоссийский Экономический Университет им. Г.В. ПлехановаРоссияPlekhanov Russian University of EconomicsRussian Federation20251109202603(35)96112Copyright © Ярушев С.А., Ануров А.О., Булгаков Г.Г., 20262026Ярушев С.А., Ануров А.О., Булгаков Г.Г.Yarushev S.A., Anurov A.O., Bulgakov G.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.intelligent-transport.ru/jour/article/view/24

В данной работе представлена система оценки OMLS-Bench (Open Multi-Level Skills Benchmark) двухэтапный фреймворк для всесторонней оценки больших языковых моделей в задачах программной инженерии. Цель предложенного подхода преодолеть ограничения существующих методик, которые либо измеряют узкие подзадачи, либо применяют единый уровень сложности и не фиксируют динамику инженерного мастерства и интерактивную природу диагностического рассуждения. Описываемая система охватывает девять доменов (Back-end, Front-end, Mobile, DevOps, Data Analysis, Machine Learning, Big Data, IoT, встроенные системы) и пять уровней сложности, что позволяет стратифицировать качество по доменам и уровням. Предлагается двухэтапная процедура: Этап I стандартизированные задания с множественным выбором и строгим форматом ответа , Этап II сценарные задания с пошаговыми контрольными списками и независимой моделью-судьёй. Формализованы метрики Tier Accuracy и Domain Accuracy, введён интегральный показатель OPS; раскрыты переменные формулы (1). Публикуются артефакты для воспроизводимости: JSON-схемы заданий, русскоязычные шаблоны промптов и скрипт оценки eval_mc.py с описанием входных/выходных параметров. Эксперименты показывают: неоднородность качества между доменами; снижение результатов при переходе от тестов с фиксированными вариантами к сценарным задачам; детальные диагностические отчёты по невыполненным пунктам контрольных списков. OMLS-Bench может служить практическим инструментом сравнения LLM в инженерных задачах и основой для целенаправленной донастройки моделей под конкретные области. Проведённая стартовая крупномасштабная оценка десяти современных больших языковых моделей выявила чёткую стратификацию результатов по уровням сложности и по сферам: модели большего масштаба демонстрировали высокую точность в широко представленных веб-ориентированных областях, тогда как специализированные направления (мобильная разработка, встроенные системы) показали существенно худшие показатели. Эти наблюдения подчёркивают важность как размера модели, так и разнообразия предметных данных при обучении. OMLS-Bench обеспечивает воспроизводимое и расширяемое средство оценки, которое может служить основой для разработки более надёжных и предметно ориентированных моделей-помощников инженера. В перспективе планируется развитие интерактивной фазы, повышение реалистичности сценариев и доработка контрольных чек-листов для приближения тестирования к профессиональной практике.

This paper presents the OMLS-Benchmark (Open Multi-Level Skills Benchmark) assessment system, a two–stage framework for the comprehensive assessment of large language models in software engineering tasks. The aim of the proposed approach is to overcome the limitations of existing techniques that either measure narrow subtasks or apply a single level of complexity and do not capture the dynamics of engineering skill and the interactive nature of diagnostic reasoning. The described system covers nine domains (Back-end, Front-end, Mobile, DevOps, Data Analysis, Machine Learning, Big Data, IoT, embedded systems) and five levels of complexity, which allows you to stratify quality by domains and levels. A two–stage procedure is proposed: Stage I standardized tasks with multiple choice and a strict response format, Stage II scenario tasks with step-by-step checklists and an independent judge model. The Tier Accuracy and Domain Accuracy metrics have been formalized, the OPS integral indicator has been introduced; the variables of formula (1) have been disclosed. Artifacts are published for reproducibility: JSON schemas of tasks, Russianlanguage templates of projects and an evaluation script. eval_mc.py with a description of the input/output parameters. Experiments show: heterogeneity of quality between domains; decreased results when switching from tests with fixed options to scenario tasks; detailed diagnostic reports on outstanding checklist items. The OMLS-Bench can serve as a practical tool for comparing LLMs in engineering tasks and as a basis for purposefully fine-tuning models to specific areas. The initial large-scale assessment of ten modern large language models revealed a clear stratification of results by complexity levels and by area: larger-scale models demonstrated high accuracy in widely represented web-oriented areas, while specialized areas (mobile development, embedded systems) showed significantly worse performance. These observations highlight the importance of both the size of the model and the variety of subject data in training. OMLS-Bench provides a reproducible and extensible evaluation tool that can serve as a basis for the development of more reliable and domain-specific assistant engineer models. In the future, it is planned to develop the interactive phase, increase the realism of scenarios and finalize control checklists to bring testing closer to professional practice.

Оценка больших языковых моделейБенчмарк для программной инженерииМногоуровневая оценкаТестирование с множественным выборомДиагностика с участием LLM (LLM-in-the-loop)Итоговый балл производительности (Overall Performance ScoreOPS)Интерактивные диагностические протоколыLarge Language Model EvaluationSoftware Engineering BenchmarkMulti-Tier AssessmentMultipleChoice TestingLLM-in-the-Loop DiagnosticsOverall Performance Score (OPS)Interactive Diagnostic ProtocolsReferencesАнуров А. О., Булгаков Г. Г., Ярушев С. А. OMLS-Bench [Электронный ресурс]. – URL: https://github.com/Blgkff/OMLS-BENCH (дата обращения: 14.06.2025).Ануров А. О., Булгаков Г. Г., Ярушев С. А. OMLS-Bench [Электронный ресурс]. – URL: https://github.com/Blgkff/OMLS-BENCH (дата обращения: 14.06.2025).D. Hendrycks et al., “Measuring Massive Multitask Language Understanding,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2021. [Online]. Available: https://arxiv.org/abs/2009.03300D. Hendrycks et al., “Measuring Massive Multitask Language Understanding,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2021. [Online]. Available: https://arxiv.org/abs/2009.03300T. B. Brown et al., “Language Models are Few-Shot Learners,” Adv. Neural Inf. Process. Syst. (NeurIPS), vol. 33, pp. 1877–1901, 2020. [Online]. Available: https://arxiv.org/abs/2005.14165T. B. Brown et al., “Language Models are Few-Shot Learners,” Adv. Neural Inf. Process. Syst. (NeurIPS), vol. 33, pp. 1877–1901, 2020. [Online]. Available: https://arxiv.org/abs/2005.14165A. Wang et al., “GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding,” in *Proc. 2019 Conf. Empir. Methods Nat. Lang. Process. 9th Int. Jt. Conf. Nat. Lang. Process. (EMNLP-IJCNLP)*, pp. 353–361, 2019. [Online]. Available: https://arxiv.org/abs/1804.07461A. Wang et al., “GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding,” in *Proc. 2019 Conf. Empir. Methods Nat. Lang. Process. 9th Int. Jt. Conf. Nat. Lang. Process. (EMNLP-IJCNLP)*, pp. 353–361, 2019. [Online]. Available: https://arxiv.org/abs/1804.07461A. Wang et al., “SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems,” in Proc. 3rd Workshop Eval. Compar. NLP Syst., 2020. [Online]. Available: https://arxiv.org/abs/1905.00537A. Wang et al., “SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems,” in Proc. 3rd Workshop Eval. Compar. NLP Syst., 2020. [Online]. Available: https://arxiv.org/abs/1905.00537S. Lu et al., “CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation,” in Proc. 2021 Conf. Empir. Methods Nat. Lang. Process. (EMNLP), 2021. [Online]. Available: https://arxiv.org/abs/2102.04664S. Lu et al., “CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation,” in Proc. 2021 Conf. Empir. Methods Nat. Lang. Process. (EMNLP), 2021. [Online]. Available: https://arxiv.org/abs/2102.04664M. Chen et al., “Evaluating Large Language Models Trained on Code,” arXiv preprint arXiv:2107.03374, 2021. [Online]. Available: https://arxiv.org/abs/2107.03374M. Chen et al., “Evaluating Large Language Models Trained on Code,” arXiv preprint arXiv:2107.03374, 2021. [Online]. Available: https://arxiv.org/abs/2107.03374M. Mitchell and D. C. Krakauer, “The Debate Over Understanding in AI’s Large Language Models,” arXiv preprint arXiv:2210.13966, 2022. [Online]. Available: https://arxiv.org/abs/2210.13966M. Mitchell and D. C. Krakauer, “The Debate Over Understanding in AI’s Large Language Models,” arXiv preprint arXiv:2210.13966, 2022. [Online]. Available: https://arxiv.org/abs/2210.13966D. Hendrycks et al., “Aligning AI With Shared Human Values,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2021. [Online]. Available: https://arxiv.org/abs/2008.02275D. Hendrycks et al., “Aligning AI With Shared Human Values,” in Proc. Int. Conf. Learn. Represent. (ICLR), 2021. [Online]. Available: https://arxiv.org/abs/2008.02275M. Suzgun et al., “Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them,” in Find. Assoc. Comput. Linguist.: ACL, pp. 4670–4685, 2022. [Online]. Available: https://arxiv.org/abs/2210.09261M. Suzgun et al., “Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them,” in Find. Assoc. Comput. Linguist.: ACL, pp. 4670–4685, 2022. [Online]. Available: https://arxiv.org/abs/2210.09261M. Kazemi et al., “BIG-Bench Extra Hard,” arXiv preprint arXiv:2502.19187, 2025. [Online]. Available: https://arxiv.org/abs/2502.19187M. Kazemi et al., “BIG-Bench Extra Hard,” arXiv preprint arXiv:2502.19187, 2025. [Online]. Available: https://arxiv.org/abs/2502.19187H. Li et al., “CMMLU: Measuring Massive Multitask Language Understanding in Chinese,” in Find. Assoc. Comput. Linguist.: ACL, pp. 6543–6558, 2024. [Online]. Available: https://aclanthology.org/2024.findings-acl.671H. Li et al., “CMMLU: Measuring Massive Multitask Language Understanding in Chinese,” in Find. Assoc. Comput. Linguist.: ACL, pp. 6543–6558, 2024. [Online]. Available: https://aclanthology.org/2024.findings-acl.671Y. Wang et al., “MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark,” arXiv preprint arXiv:2406.01574, 2024. [Online]. Available: https://arxiv.org/abs/2406.01574Y. Wang et al., “MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark,” arXiv preprint arXiv:2406.01574, 2024. [Online]. Available: https://arxiv.org/abs/2406.01574L. Austin et al., “Program Synthesis with Large Language Models,” in NeurIPS Workshop Mach. Learn. Syst., 2021. [Online]. Available: https://arxiv.org/abs/2108.07732L. Austin et al., “Program Synthesis with Large Language Models,” in NeurIPS Workshop Mach. Learn. Syst., 2021. [Online]. Available: https://arxiv.org/abs/2108.07732K. Cobbe et al., “Training Verifiers to Solve Math Word Problems,” Adv. Neural Inf. Process. Syst. (NeurIPS), vol. 34, 2021. [Online]. Available: https://arxiv.org/abs/2110.14168K. Cobbe et al., “Training Verifiers to Solve Math Word Problems,” Adv. Neural Inf. Process. Syst. (NeurIPS), vol. 34, 2021. [Online]. Available: https://arxiv.org/abs/2110.14168A. Radford et al., “Language Models are Unsupervised Multitask Learners,” OpenAI Tech. Rep., 2019. [Online]. Available: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdfA. Radford et al., “Language Models are Unsupervised Multitask Learners,” OpenAI Tech. Rep., 2019. [Online]. Available: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

The authors declare that there are no conflicts of interest present.