Современное внедрение технологий искусственного интеллекта в процессы принятия решений сопровождается проблемой их недостаточной интерпретируемости. Это создает недоверие со стороны пользователей и лиц, принимающих решения, проблему прозрачности и ответственного применения алгоритмов в критически важных областях, где решения алгоритмов напрямую влияют на безопасность людей, экономическую стабильность, соблюдение прав человека и функционирование государственных институтов. Цель исследования – проведение сравнительного анализа известных методов интерпретации моделей искусственного интеллекта для выявления преимуществ и ограничений каждого из методов по ряду критериев, включая теоретическую обоснованность, простоту интерпретации, вычислительную сложность, применимость к различным типам данных и моделей, масштабируемость, удобство для пользователей, поддержку объяснения индивидуальных решений, возможность экспертной верификации решения. Методологией исследования является систематический сравнительный анализ, построенный на комплексном изучении релевантных научных публикаций, входящих в базы Scopus и Web of Science за 2018–2025 гг. В результате исследования были рассмотрены и систематизированы пять широко известных подходов к интерпретируемости моделей искусственного интеллекта. Результаты анализа показали, что не существует универсального метода. Основной вывод заключается в необходимости выбора метода интерпретации в зависимости от конкретной задачи, уровня ответственности решения, доступных вычислительных ресурсов и подготовки пользователей. Подчеркивается важность комбинирования методов и определяются перспективные направления для дальнейшей работы, такие как разработка гибридных подходов и метрик оценки интерпретируемости с точки зрения конечного пользователя.
The modern integration of artificial intelligence technologies into decision-making processes is accompanied by the problem of their insufficient interpretability. This creates mistrust among users and decision-makers, as well as challenges in the transparency and responsible application of algorithms in critical areas where algorithmic decisions directly impact human safety, economic stability, human rights, and the functioning of public institutions. The aim of this study is to conduct a comparative analysis of known methods for interpreting artificial intelligence models to identify the advantages and limitations of each method across a number of criteria, including theoretical soundness, ease of interpretation, computational complexity, applicability to various types of data and models, scalability, user friendliness, support for explaining individual decisions, and the possibility of expert verification of the solution. The research methodology is a systematic comparative analysis based on a comprehensive study of relevant scientific publications included in the Scopus and Web of Science databases for the period 2018-2025. The study examined and systematized five widely known approaches to the interpretability of artificial intelligence models. The analysis showed that there is no universal method. The key conclusion is the need to select an interpretation method based on the specific task, the criticality of the solution, available computing resources, and user experience. The importance of combining methods is emphasized, and promising areas for further work are identified, such as the development of hybrid approaches and metrics for assessing interpretability from the end-user perspective.
1. Бородушко И. В., Матвеев А. В. Современные тенденции и стратегические цели развития искусственного интеллекта в Российской Федерации // Национальная безопасность и стратегическое планирование. 2024. № 2 (46). С. 66–74. DOI: 10.37468/2307-1400-2024-2-66-74. EDN: EFWHYT.
2. Минуллин Д. А., Гафаров Ф. М. Анализ моделей машинного обучения на основе методов объяснимого искусственного интеллекта в образовательной аналитике // Электронные библиотеки. 2024. Т. 27. № 3. С. 294–315. DOI: 10.26907/1562-5419-2024-27-3-294-315. EDN: XFIGCX.
3. Путихин Ю. Е., Буняк В. Л., Матвеев В. В. Внедрение искусственного интеллекта в экономику России // Национальная безопасность и стратегическое планирование. 2025. № 1 (49). С. 31–46. DOI: 10.37468/2307-1400-2025-1-31-46. EDN: MCCNPG.
4. Бирюков Д. Н., Дудкин А. С. Объяснимость и интерпретируемость – важные аспекты безопасности решений, принимаемых интеллектуальными системами (обзорная статья) // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 3. С. 373–386. DOI: 10.17586/2226-1494-2025-25-3-373-386. EDN: NHHVUJ.
5. Макаренко А. В. Глубокие нейронные сети: зарождение, становление, современное состояние // Проблемы управления. 2020. № 2. С. 3–19. DOI: 10.25728/pu.2020.2.1. EDN: DBWHHL.
6. Alangari N., El Bachir Menai M., Mathkour H., Almosallam I. Exploring evaluation methods for interpretable machine learning: A survey // Information. 2023. Vol. 14. Is. 8. P. 469. DOI: 10.3390/info14080469.
7. Carvalho D. V., Pereira E. M., Cardoso J. S. Machine learning interpretability: A survey on methods and metrics // Electronics. 2019. Vol. 8. Is. 8. P. 832. DOI: 10.3390/electronics8080832.
8. Linardatos P., Papastefanopoulos V., Kotsiantis S. Explainable AI: A review of machine learning interpretability methods // Entropy. 2021. Vol. 23. Is. 1. P. 18. DOI: 10.3390/e23010018.
9. Шевская Н. В. Объяснимый искусственный интеллект и методы интерпретации результатов // Моделирование, оптимизация и информационные технологии. 2021. Т. 9. № 2 (33). DOI: 10.26102/2310-6018/2021.33.2.024. EDN: VRKUIL.
10. Wang Y. A comparative analysis of model agnostic techniques for explainable artificial intelligence // Research Reports on Computer Science. 2024. P. 25–33. DOI: 10.37256/rrcs.3220244750.
11. Zafar M. R., Khan N. Deterministic local interpretable model-agnostic explanations for stable explainability // Machine Learning and Knowledge Extraction. 2021. Vol. 3. Is. 3. P. 525–541. DOI: 10.3390/make3030027.
12. Visani G., Bagli E., Chesani F., Poluzzi A., Capuzzo D. Statistical stability indices for LIME: Obtaining reliable explanations for machine learning models //Journal of the Operational Research Society. 2022. Vol. 73. Is. 1. P. 91–101. DOI: 10.1080/01605682.2020.1865846.
13. Nohara Y., Matsumoto K., Soejima H., Nakashima N. Explanation of machine learning models using improved Shapley additive explanation // Proceedings of the 10th ACM international conference on bioinformatics, computational biology and health informatics. 2019. P. 546–546. DOI: 10.1145/3307339.3343255.
14. Pelegrina G. D., Couceiro M., Duarte L. T. A preprocessing Shapley value-based approach to detect relevant and disparity prone features in machine learning // Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency. 2024. P. 279–289. DOI: 10.1145/3630106.3658905.
15. Zhang J., Sun Q., Liu J., Xiong L., Pei J., Ren K. Efficient sampling approaches to shapley value approximation // Proceedings of the ACM on Management of Data. 2023. Vol. 1. Is. 1. P. 1–24. DOI: 10.1145/3588728.
16. Witter R. T., Liu Y., Musco C. Regression-adjusted Monte Carlo Estimators for Shapley Values and Probabilistic Values. 2025. DOI: 10.48550/arXiv.2506.11849.
17. Covert I., Lee S. I. Improving kernelshap: Practical Shapley value estimation using linear regression // International conference on artificial intelligence and statistics. PMLR, 2021. P. 3457–3465. URL: http://proceedings.mlr.press/v130/covert21a/covert21a.pdf (дата обращения: 10.01.2026).
18. Aydoğan B., Aytekin T. An in-depth analysis of KernelSHAP and SamplingSHAP: assessing robustness, error, and efficiency // Knowledge and Information Systems. 2025. Vol. 67. Is. 11. P. 10545–10579. DOI: 10.1007/s10115-025-02541-z.
19. Molnar C., Freiesleben T., König G., Herbinger J., Reisinger T., Casalicchio G., Wright M. N., Bischl B. Relating the partial dependence plot and permutation feature importance to the data generating process // World Conference on Explainable Artificial Intelligence. Cham: Springer Nature Switzerland, 2023. P. 456–479. DOI: 10.1007/978-3-031-44064-9_24.
20. Moosbauer J., Herbinger J., Casalicchio G., Lindauer M., Bischl B. Explaining hyperparameter optimization via partial dependence plots // Advances in neural information processing systems. 2021. Vol. 34. P. 2280–2291. URL: https://proceedings.neurips.cc/paper_files/paper/2021/file/12ced2db6f0193dda91ba86224ea1cd8-Paper.pdf (дата обращения: 10.01.2026).
21. Kerrigan D., Barr B., Bertini E. PDPilot: Exploring Partial Dependence Plots Through Ranking, Filtering, and Clustering // IEEE Transactions on Visualization and Computer Graphics. 2025. Vol. 31. Is. 10. P. 7377–7390. DOI: 10.1109/TVCG.2025.3545025.
22. Wright R. Interpreting black-box machine learning models using partial dependence and individual conditional expectation plots // Exploring SAS® Enterprise Miner Special Collection. 2018. Vol. 1950. URL: https://sites.dartmouth.edu/dasug/files/2018/12/RayWright1950-2018.pdf (дата обращения: 10.01.2026).
23. Yeh A., Ngo A. Bringing a ruler into the black box: uncovering feature impact from individual conditional expectation plots // Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Cham: Springer International Publishing, 2021. P. 34–48. DOI: 10.1007/978-3-030-93736-2_4.
24. Ribeiro M. T., Singh S., Guestrin C. Anchors: High-precision model-agnostic explanations // Proceedings of the AAAI conference on artificial intelligence. 2018. Vol. 32. Is. 1. DOI: 10.1609/aaai.v32i1.11491.
25. Ratul Q. E. A., Serra E., Cuzzocrea A. Evaluating attribution methods in machine learning interpretability // 2021 IEEE International Conference on Big Data (Big Data). IEEE, 2021. P. 5239–5245. DOI: 10.1109/BigData52589.2021.9671501.