Журнал Современные наукоемкие технологии 1812-7320 Общество с ограниченной ответственностью "Издательский Дом "Академия Естествознания" 10.17513/snt.40830 ART-40830 ДЕКОДИРОВАНИЕ СИГНАЛОВ ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ ОБУЧАЮЩИХ СИСТЕМ: ОБЗОР ПОДХОДОВ И КОНЦЕПТУАЛЬНАЯ АРХИТЕКТУРА «НЕЙРОТЬЮТОР» Рак Д. В. Rak D. V. Российская Федерация Аникин А. В. Anikin A. V. anton@anikin.name Федеральное государственное бюджетное образовательное учреждение высшего образования «Волгоградский государственный технический университет» Federal State Budgetary Educational Institution of Higher Education “Volgograd State Technical University” Частное образовательное учреждение дополнительного профессионального образования «Школа программной инженерии» Private educational institution of additional professional education “Software Engineering School” 30 06 2026 6 162 169 This is an open-access article distributed under the terms of the CC BY 4.0 license. https://top-technologies.ru/ru/article/view?id=40830

Широкое применение интеллектуальных обучающих систем ограничено зависимостью от стандартных периферийных устройств ввода, что делает их недоступными для лиц с тяжелыми двигательными нарушениями – боковым амиотрофическим склерозом, детским церебральным параличом, синдромом запертого человека. Целью настоящего обзора является систематизация подходов к декодированию сигналов электроэнцефалографии в текст на основе глубоких нейронных сетей и формулирование архитектурных принципов системы «НейроТьютор» – пайплайна интерфейса мозг – компьютер, интегрированного с интеллектуальной обучающей системой. Материалом для исследования послужили рецензируемые публикации преимущественно 2018–2026 гг. (включая фундаментальные работы более раннего периода), индексированные в базах IEEE Xplore, ACL Anthology и PubMed, по направлениям декодирования нейросигналов, мультимодального обучения и онтологического моделирования в образовании; итоговый корпус составил 26 источников. В результате предложена концептуальная архитектура, включающая четыре функциональных модуля: непрерывную регистрацию электроэнцефалограммы, Conformer-энкодер пространственно-временных признаков, кросс-модальный адаптер на основе контрастивного обучения для проекции в пространство эмбеддингов большой языковой модели и педагогический бэкенд на основе онтологий и таксономии Блума. Аналитически обоснована достижимость суммарной задержки 270–525 мс; сформулирована трехфазная программа верификации. В заключение делается вывод о том, что «НейроТьютор» восполняет системный разрыв между технологиями декодирования нейросигналов и педагогической логикой интеллектуальных обучающих систем, открывая путь к созданию доступных образовательных сред для лиц с двигательными нарушениями.

The widespread adoption of intelligent tutoring systems is constrained by their dependence on standard peripheral input devices, rendering them inaccessible to individuals with severe motor impairments such as amyotrophic lateral sclerosis, cerebral palsy, and locked-in syndrome. The aim of this review is to systematise existing approaches to EEG signal decoding into text using deep neural networks and to formulate the architectural principles of the “NeuroTutor” system – a brain–computer interface pipeline integrated with an intelligent tutoring system. The study materials comprised peer-reviewed publications primarily from 2018 to 2026 (including earlier foundational works) indexed in IEEE Xplore, ACL Anthology, and PubMed, covering neural signal decoding, multimodal learning, and ontological modelling in education; the final corpus consisted of 27 sources. As a result, a conceptual architecture was proposed comprising four functional modules: continuous electroencephalography acquisition, a Conformer encoder for spatiotemporal feature extraction, a cross-modal adapter based on contrastive learning for projection into the embedding space of a large language model, and a pedagogical backend based on domain ontologies and Bloom’s taxonomy. The achievability of a total latency of 270–525 ms is analytically justified; a three-phase verification programme is formulated. In conclusion, it is argued that “NeuroTutor” bridges the systematic gap between neural signal decoding technologies and the pedagogical logic of intelligent tutoring systems.

 интеллектуальные обучающие системы интерфейс мозг – компьютер большие языковые модели электроэнцефалография декодирование онтологии образование intelligent tutoring systems brain – computer interface large language models electroencephalography decoding ontologies education

1. Bloom B. S., Engelhart M. D., Furst E. J., Hill W. H., Krathwohl D. R. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook I: Cognitive Domain. New York: David McKay, 1956. 207 p.

2. VanLehn K. The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems // Educational Psychologist. 2011. Vol. 46. Is. 4. P. 197–221. DOI: 10.1080/00461520.2011.611369.

3. Zander T. O., Kothe C. Towards passive brain–computer interfaces: applying brain–computer interface technology to human systems in work and everyday life // Journal of Neural Engineering. 2011. Vol. 8. Is. 2. Art. 025005. DOI: 10.1088/1741-2560/8/2/025005.

4. Touvron H., Martin L., Stone K., Albert P., Almahairi A., Babaei Y., et al. Llama 2: Open Foundation and Fine-Tuned Chat Models // URL: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ (дата обращения: 10.04.2026).

5. Schalk G., McFarland D. J., Hinterberger T., Birbaumer N., Wolpaw J. R. BCI2000: A General-Purpose Brain-Computer Interface (BCI) System // IEEE Transactions on Biomedical Engineering. 2004. Vol. 51. Is. 6. P. 1034–1043. DOI: 10.1109/TBME.2004.827072.

6. Hollenstein N., Troendle M., Zhang C., Langer N. ZuCo 2.0: A dataset of physiological recordings during natural reading and annotation // Proceedings of LREC. 2020. P. 138–146. URL: https://aclanthology.org/2020.lrec-1.18 (дата обращения: 10.04.2026).

7. Duan Y., Zhou J., Wang Z., Wang Y.-K., Lin C.-T. DeWave: Discrete Encoding of EEG Waves for EEG to Text Translation // Advances in Neural Information Processing Systems (NeurIPS 2023). URL: https://proceedings.neurips.cc/paper_files/paper/2023/hash/1f2fd23309a5b2d2537d063b29ec1b52-Abstract-Conference.html (дата обращения: 10.04.2026).

8. Wang J., Song Z., Ma Z., Qiu X., Zhang M., Zhang Z. Enhancing EEG-to-Text Decoding through Transferable Representations from Pre-trained Contrastive EEG-Text Masked Autoencoder // Proceedings of ACL 2024. 2024. DOI: 10.18653/v1/2024.acl-long.393.

9. Chau C., Duan Y., Chang F., Do T., Wang Y.-K., Lin C.-T. BELT-2: Bootstrapping EEG-to-Language Representation Alignment for Multi-Task Brain Decoding // The Twelfth International Conference on Learning Representations, Vienna Austria May 7th, 2024 to May 11th, 2024. Р. 13–20. URL: https://openreview.net/attachment?id=gp5dPMBzMH&name=supplementary_material (дата обращения: 10.04.2026).

10. Zhang Y., He L., Fan C., Liu T., Yu H., Le T., Li J., Linderman S., Duncker L., Willett F. R., Mesgarani N., Paninski L. A cross-species neural foundation model for end-to-end speech decoding // Proceedings of the 14th International Conference on Learning Representations (ICLR 2026). 2026. URL: https://openreview.net/forum?id=Lp1noMpMUG (дата обращения: 10.04.2026).

11. Mishra A., Shukla S., Torres J., Gwizdka J., Roychowdhury S. Thought2Text: Text Generation from EEG Signal using Large Language Models (LLMs) // Findings of the Association for Computational Linguistics: NAACL 2025. Albuquerque, New Mexico: ACL, 2025. P. 3747–3759. DOI: 10.18653/v1/2025.findings-naacl.207. URL: https://aclanthology.org/2025.findings-naacl.207 (дата обращения: 10.04.2026).

12. Baradari D., Kosmyna N., Petrov O., Kaplun R., Maes P. NeuroChat: A neuroadaptive AI chatbot for customizing learning experiences // Proceedings of the 7th ACM Conference on Conversational User Interfaces (CUI 2025). 2025. P. 57:1–57:21. URL: https://dl.acm.org/doi/10.1145/3719160.3736623 (дата обращения: 10.04.2026).

13. Wang Z., Ji H. Open vocabulary electroencephalography-to-text decoding and zero-shot sentiment classification // Proceedings of AAAI. 2022. Vol. 36. P. 5350–5358. DOI: 10.1609/aaai.v36i5.20472.

14. Elgammal S., Alsereidi S., Almansoori M., Alblooshi S., Hireche A., Belkacem A. N. NeuroTutor: Neural Decoding of Student Engagement During Virtual and Robotic Tutoring // IEEE Access. 2025. Vol. 13. P. 123967–123978. URL: https://ieeexplore.ieee.org/document/11071325 (дата обращения: 10.04.2026). DOI: 10.1109/ACCESS.2025.3585826.

15. Nieto N., Peterson V., Rufiner H. L., Kamienkowski J. E., Spies R. Thinking out loud, an open-access EEG-based BCI dataset for inner speech recognition // Scientific Data. 2022. Vol. 9. Is. 1. Art. 52. DOI: 10.1038/s41597-022-01147-2.

16. Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations // Proceedings of the 37th International Conference on Machine Learning (ICML 2020). PMLR. 2020. Vol. 119. P. 1597–1607. URL: http://proceedings.mlr.press/v119/chen20j.html (дата обращения: 10.04.2026).

17. Clemente J., Ramírez J., de Antonio A. A proposal for student modeling based on ontologies and diagnosis rules // Expert Systems with Applications. 2011. Vol. 38. Is. 7. P. 8066–8078. DOI: 10.1016/j.eswa.2010.12.146.

18. Yarandi M., Jahankhani H., Tawil A. R. H. Towards adaptive e-learning using decision support systems // International Journal of Emerging Technologies in Learning. 2013. Vol. 8. Is. S1. P. 44–51. DOI: 10.3991/ijet.v8iS1.2350.

19. Anderson L. W., Krathwohl D. R. (eds.) A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom’s Taxonomy of Educational Objectives. New York: Longman, 2001. 352 p. ISBN 0-8013-1903-X.

20. Anikin A., Sychev O. Ontology-Based Modelling for Learning on Bloom’s Taxonomy Comprehension Level // Advances in Intelligent Systems and Computing. 2019. Vol. 1014. P. 22–27. URL: https://link.springer.com/chapter/10.1007/978-3-030-25719-4_4 (дата обращения: 10.04.2026). DOI: 10.1007/978-3-030-25719-4_4.

21. Sychev O., Denisov M., Anikin A. Verifying algorithm traces and fault reason determining // ISWC 2020 Demos and Industry Tracks: From Novel Ideas to Industrial Practice. 2020. Vol. 2721. P. 49–54. URL: https://ceur-ws.org/Vol-2721/paper495.pdf (дата обращения: 10.04.2026).

22. Graesser A. C., Chipman P., Haynes B. C., Olney A. AutoTutor: An intelligent tutoring system with mixed-initiative dialogue // IEEE Transactions on Education. 2005. Vol. 48. Is. 4. P. 612–618. URL: https://bpb-us-w2.wpmucdn.com/blogs.memphis.edu/dist/d/2954/files/2019/10/AutoTutor-An-intelligent-tutoring-system-with-mixed-initiative-dialogue.pdf (дата обращения: 10.04.2026). DOI: 10.1109/TE.2005.856149.

23. Aristimunha B., Carrara I., Guetschel P., Sedlar S., Rodrigues P., Sosulski J., Narayanan D., Bjareholt E., Barthelemy Q., Schirrmeister R. T., Kobler R., Kalunga E., Darmet L., Gregoire C., Abdul Hussain A., Gatti R., Goncharenko V., Andreev A., Tates A., Kojima S., Thielen J., Hajhassani D., Begany K., Moreau T., Roy Y., Jayaram V., Barachant,A., Chevallier S. 2026. Mother of all BCI Benchmarks (Version 1.5.0). Zenodo. URL: https://moabb.neurotechx.com/docs/index.html (дата обращения: 10.04.2026). DOI: 10.5281/zenodo.10034223.

24. Jayaram V., Barachant A. MOABB: Trustworthy algorithm benchmarking for BCIs // Journal of Neural Engineering. 2018. Vol. 15. Is. 6. Art. 066011. DOI: 10.1088/1741-2552/aadea0.

25. Ienca M., Haselager W. F. G. Hacking the brain: brain-computer interfacing technology and the ethics of neurosecurity // Ethics and Information Technology. 2016. Vol. 18. Is. 2. P. 117–129. DOI: 10.1007/s10676-016-9398-9.

26. Yuste R., Goering S., Arcas B. A. Y., Bi G., Carmena J. M., Carter A., Fins J. J., Friesen P., Gallant J., Huggins J. E., Illes J., Kellmeyer P., Klein E., Marblestone A., Mitchell C., Parens E., Pham M., Rubel A., Sadato N., Specker Sullivan L., Teicher M., Wasserman D., Wexler A., Whittaker M., Wolpaw J. Four ethical priorities for neurotechnologies and AI // Nature. 2017. Vol. 551. Is. 7679. P. 159–163. URL: https://www.nature.com/articles/551159a (дата обращения: 10.04.2026). DOI: 10.1038/551159a.