В статье рассматривается задача анализа результатов промежуточной аттестации в высшем образовании в условиях, когда испытание имеет неоднородную структуру. Например, задание состоит из нескольких компонентов, тестовая часть с закрытыми типами вопросов сочетается с заданиями открытого типа, оцениваемыми преподавателем. Целью исследования является разработка и теоретическое обоснование многокомпонентной модели теории тестирования, объединяющей обобщенную модель частичного кредита для закрытых заданий и модель градуированного отклика с параметром строгости эксперта для открытых заданий в трехмерном латентном пространстве «знания – умения – навыки». Параметры модели оцениваются методом предельного максимального правдоподобия с реализацией через EM алгоритм. Идентифицируемость параметров и корректность их восстановления проверены методом имитационного моделирования. Апробация модели проведена на эмпирических данных зачета по дисциплине «Информационные технологии» с участием четырех преподавателей. Показано, что оценки параметров фасета преподавателя статистически значимо различаются, и это можно интерпретировать как возможные различия строгости оценивания при принятых модельных предпосылках. Модель может служить инструментом для выявления потенциальных рэйтер-эффектов, требующих дополнительной экспертной проверки. Пригодность модели для описания эмпирических данных подтверждена критериями согласия как на уровне отдельных заданий, так и на уровне модели в целом. Результаты работы представляют интерес для специалистов в области педагогических измерений и разработчиков фондов оценочных средств в системе высшего образования.
This article examines the problem of analyzing midterm assessment results in higher education under conditions where the test has a heterogeneous structure. For example, a task consists of several components, with a test section with closed-ended questions combined with open-ended questions assessed by a teacher. The aim of the study is to develop and theoretically substantiate a multicomponent test theory model combining a generalized partial credit model for closed-ended questions and a graded response model with an expert strictness parameter for open-ended questions in a three-dimensional latent knowledge-skills-abilities space. The model parameters are estimated using the maximum likelihood method implemented through the EM algorithm. The identifiability of the parameters and the correctness of their recovery are verified using simulation modeling. The model was tested using empirical data from a test in information technology involving four teachers. It is shown that the estimates of the teacher facet parameters differ statistically significantly, which can be interpreted as potential differences in assessment strictness under the adopted model assumptions. The model can serve as a tool for identifying potential rater effects that require additional expert verification. The model’s suitability for describing empirical data is confirmed by goodness-of-fit criteria at both the individual task level and the model as a whole. The results of this study are of interest to specialists in educational measurement and developers of assessment tools in higher education.
1. Samejima F. Estimation of latent ability using a response pattern of graded scores // Psychometrika. 1969. Vol. 34. Is. S1. P. 1–97. DOI: 10.1007/BF03372160.
2. Muraki E. A generalized partial credit model: Application of an EM algorithm // Applied Psychological Measurement. 1992. Vol. 16. Is. 2. P. 159–176. DOI: 10.1177/014662169201600206.
3. Uto M. A multidimensional generalized many-facet Rasch model for rubric-based performance assessment // Behaviormetrika. 2021. Vol. 48. Is. 2. P. 425–457. URL: https://link.springer.com/article/10.1007/s41237-021-00144-w (дата обращения: 26.05.2026). DOI: 10.1007/s41237-021-00144-w.
4. Linacre J. M. Many-Facet Rasch Measurement. Chicago: MESA Press, 1989. 216 p. ISBN 0-941938-02-6.
5. Huang H.-Y. Modeling Rating Order Effects Under Item Response Theory Models for Rater-Mediated Assessments // Applied Psychological Measurement. 2023. Vol. 47. Is. 4. P. 312–327. URL: https://journals.sagepub.com/doi/10.1177/01466216231174566 (дата обращения: 26.05.2026). DOI: 10.1177/01466216231174566.
6. Uto M. A Bayesian many-facet Rasch model with Markov modeling for rater severity drift // Behavior Research Methods. 2023. Vol. 55. Is. 7. P. 3910–3928. URL: https://link.springer.com/article/10.3758/s13428-022-01997-z (дата обращения: 26.05.2026). DOI: 10.3758/s13428-022-01997-z.
7. Miller F., Fackle-Fornius E. Parallel Optimal Calibration of Mixed-Format Items for Achievement Tests // Psychometrika. 2024. Vol. 89. Is. 3. P. 903–928. URL: https://link.springer.com/article/10.1007/s11336-024-09968-3 (дата обращения: 26.05.2026). DOI: 10.1007/s11336-024-09968-3.
8. Dai S., Vo T. T., Kehinde O. J., He H., Xue Y., Demir C., Wang X. Performance of Polytomous IRT Models with Rating Scale Data: An Investigation Over Sample Size, Instrument Length, and Missing Data // Frontiers in Education. 2021. Vol. 6. Art. 721963. URL: https://www.frontiersin.org/articles/10.3389/feduc.2021.721963/full (дата обращения: 26.05.2026). DOI: 10.3389/feduc.2021.721963.
9. Qiu X.-L., Chiu M. M., Wang W.-C., Chen P.-H. A new item response theory model for rater centrality using a hierarchical rater model approach // Behavior Research Methods. 2022. Vol. 54. Is. 4. P. 1854–1868. URL: https://link.springer.com/article/10.3758/s13428-021-01699-y (дата обращения: 26.05.2026). DOI: 10.3758/s13428-021-01699-y.
10. Li X., Wang W.-C., Xie Q. Cognitive Diagnostic Models for Rater Effects // Frontiers in Psychology. 2020. Vol. 11. Art. 525. URL: https://www.frontiersin.org/articles/10.3389/fpsyg.2020.00525/full (дата обращения: 26.05.2026). DOI: 10.3389/fpsyg.2020.00525.
11. Jin K.-Y., Eckes T. Human ratings take time: A hierarchical facets model for the joint analysis of ratings and rating times // Behavior Research Methods. 2024. Vol. 56. Is. 4. P. 3535–3547. URL: https://link.springer.com/article/10.3758/s13428-023-02165-7 (дата обращения: 26.05.2026). DOI: 10.3758/s13428-023-02259-2.
12. Wu Y.-F. IRT Observed-Score Equating for Rater-Mediated Assessments Using a Hierarchical Rater Model // Journal of Educational Measurement. 2025. Vol. 62. Is. 1. P. 5–31. URL: https://onlinelibrary.wiley.com/doi/10.1111/jedm.12425 (дата обращения: 26.05.2026). DOI: 10.1111/jedm.12425.
13. Bock R. D., Aitkin M. Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm // Psychometrika. 1981. Vol. 46. Is. 4. P. 443–459. DOI: 10.1007/BF02293801.
14. Louis T. A. Finding the observed information matrix when using the EM algorithm // Journal of the Royal Statistical Society. Series B. 1982. Vol. 44. Is. 2. P. 226–233.
15. Müller M. Item fit statistics for Rasch analysis: can we trust them? // Journal of Statistical Distributions and Applications. 2020. Vol. 7. Art. 5. URL: https://link.springer.com/article/10.1186/s40488-020-00108-7 (дата обращения: 25.06.2026). DOI: 10.1186/s40488-020-00108-7.
16. Ranger J., Brauer K. On the Generalized S-X²-Test of Item Fit: Some Variants, Residuals, and a Graphical Visualization // Journal of Educational and Behavioral Statistics. 2022. Vol. 47. Is. 2. P. 202–230. URL: https://journals.sagepub.com/doi/10.3102/10769986211050304 (дата обращения: 26.05.2026). DOI: 10.3102/10769986211050304.
17. Xu J., Paek I., Xia Y. Investigating the behaviors of M2 and RMSEA2 in fitting a unidimensional model to multidimensional data // Applied Psychological Measurement. 2017. Vol. 41. Is. 8. P. 632–644. URL: https://pmc.ncbi.nlm.nih.gov/articles/PMC5978478/ (дата обращения: 25.06.2026). DOI: 10.1177/0146621617710464.