Современные методы компьютерного зрения решают широкий спектр задач, от базовой категоризации изображений до комплексного анализа пространственной структуры окружения. Выбор моделей определяется их способностью балансировать между точностью, скоростью обработки и адаптивностью к условиям реального мира. Целью данной работы является анализ применимости алгоритмов компьютерного зрения в ассистивных системах помощи слабовидящим и незрячим пользователям, а также оценка того, какие типы моделей могут быть использованы для первичного описания сцены, обнаружения значимых объектов, распознавания текстовой информации и анализа проходимых поверхностей. В рамках данной работы рассмотрены модели для классификации изображений, детекции объектов, семантической сегментации изображений и распознавания текста из окружения в целях разработки ассистивных систем. Классификация сцен может применяться для первичного определения общего контекста окружающей среды, детекция объектов – для выделения отдельных значимых предметов и потенциальных препятствий, оптическое распознавание символов – для извлечения текстовой информации, а семантическая сегментация – для анализа структуры пространства и проходимых поверхностей. В разработанном прототипе ассистивной системы дополнительным завершающим звеном конвейера выступает языковая модель, используемая для консолидации выходных данных отдельных модулей компьютерного зрения и формирования конечной текстовой подсказки для пользователя.
Modern computer vision methods solve a wide range of tasks, from basic image categorization to complex analysis of the spatial structure of the environment. The choice of models is determined by their ability to balance accuracy, processing speed, and adaptability to real-world conditions. The goal of this work is to analyze the applicability of computer vision algorithms in assistive systems for visually impaired and blind users, and to evaluate which types of models can be used for initial scene description, detection of significant objects, recognition of text information, and analysis of walkable surfaces. As part of this work models for image classification, object detection, semantic image segmentation, and text recognition from the environment are considered. Scene classification can be used to initially determine the general context of the environment, object detection can be used to identify individual objects and potential obstacles, optical character recognition can be used to extract text information, and semantic segmentation can be used to analyze the structure of the environment and the surfaces that can be walked on. In the developed prototype of the assistive system, an additional final link in the pipeline is a language model used to consolidate the output data of individual computer vision modules and generate a final text prompt for the user.
1. Официальный сайт «Всемирная организация здравоохранения». Слепота и нарушение зрения. Данные от 10.02.2026. [Электронный ресурс]. URL: https://www.who.int/ru/news-room/fact-sheets/detail/blindness-and-visual-impairment (дата обращения: 16.06.2026).
2. Болотский Н. Н. Технологии искусственного интеллекта как способ улучшения качества жизни людей с ограниченными возможностями здоровья по зрению // Известия ТулГУ. Технические науки. 2024. № 7. С. 374–376. URL: https://tidings.tsu.tula.ru (дата обращения: 16.06.2026). DOI: 10.24412/2071-6168-2024-7-374-375.
3. Лебедев О. Б., Черкасов Р. И. Применение технологий компьютерного зрения в системах обработки визуальной информации // Известия ЮФУ. Технические науки. 2025. № 5 (247). С. 254–276. URL: https://izv-tn.tti.sfedu.ru (дата обращения: 16.06.2026). DOI: 10.18522/2311-3103-2025-5-254-276.
4. Зубова Д. П., Семенист С. А., Широбокова С. Н. Проектирование компонента классификации объектов и интерпретации их действий с использованием методов компьютерного зрения и машинного обучения // Инженерный Вестник Дона. 2025. № 6 (126). С. 245–252. URL: https://www.ivdon.ru/ru/magazine/archive/n6y2025/10148 (дата обращения: 16.06.2026).
5. Mohammed Fayiz Ferosh. Assistive Technology for Navigation of Visually Impaired People // Journal of Electrical Systems. 2024. Vol. 20. Is. 7. P. 989–996. DOI: 10.52783/jes.3479.
6. Корыткин Н. Г. Применение нейросетевых методов семантической сегментации в системах компьютерного зрения реального времени в условиях ограниченных ресурсов // Труды МАИ. 2026. № 146. URL: https://trudymai.ru/published.php?ID=187461 (дата обращения: 16.06.2026).
7. Pydala B., Kumar P., Baseer K. Kh. VisiSense: A Comprehensive IOT-based Assistive Technology System for Enhanced Navigation Support for the Visually Impaired // Scalable Computing. 2024. Vol. 25. Is. 2. P. 1134–1151. DOI: 10.12694/scpe.v25i2.2619.
8. Messaoudi M. D., Menelas B. A. J., Mcheck H. Review of Navigation Assistive Tools and Technologies for the Visually Impaired // Sensors. 2022. Vol. 22. Is. 20. Art. 7888. URL: https://www.academia.edu/114359090/Review_of_Navigation_Assistive_Tools_and_Technologies_for_the_Visually_Impaired (дата обращения: 16.06.2026). DOI: 10.3390/S22207888.
9. Либерман А. И. Решение задачи классификации объектов на изображении методами компьютерного зрения в различных сферах человеческой деятельности // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2024. № 3. С. 74–91. DOI: 10.17308/sait/1995-5499/2024/3/74-91. EDN: UTQZPZ.
10. Zia Q., Jan A., Yang D., Zhang H., Li Y. Optimized Real-Time Decision Making with EfficientNet in Digital Twin-Based Vehicular Networks // Electronics. 2025. Vol. 14. Is. 6. P. 1084. DOI: 10.3390/electronics14061084.
11. Liu Z., Mao H., Wu C.-Y., Feichtenhofer C., Darrell T., Xie S. A ConvNet for the 2020s // IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022. P. 11976–11986. URL: https://openaccess.thecvf.com/content/CVPR2022/html/Liu_A_ConvNet_for_the_2020s_CVPR_2022_paper.html (дата обращения: 16.06.2026).
12. Цинь Х., Янь Я., Цзинь Ц., Чье Е. У., Воронин В. В. Алгоритм обнаружения дефектов дорожного полотна на основе модели YOLOV8S // Вестник ТОГУ. 2024. № 2(73). С. 51–62. DOI: 10.38161/1996-3440-2024-2-51-62.
13. Zhou B., Zhao H., Puig X., Fidler S., Barriuso A., Torralba A. Scene Parsing Through ADE20K Dataset // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. Р. 633–641. URL: https://openaccess.thecvf.com/content_cvpr_2017/html/Zhou_Scene_Parsing_Through_CVPR_2017_paper.html (дата обращения: 16.06.2026).
14. Качалин В. С., Панов Ю. Н., Попов Н.-Л. Э. Сравнительный анализ различных систем оптического распознавания символов при работе с текстом, написанным с помощью кириллического алфавита // Современные наукоемкие технологии. 2022. № 8. С. 65–70. URL: https://top-technologies.ru/ru/article/view?id=39268 (дата обращения: 16.06.2026). DOI: 10.17513/snt.39268.
15. Федотова А. М., Романов А. С. Методика идентификации текстов, сгенерированных большими языковыми моделями // Информатика и автоматизация. 2025. Т. 24. С. 1444–1470. URL: https://ia.spcras.ru/index.php/sp/issue/view/836/ia.2025.24.5 (дата обращения: 16.06.2026). DOI: 10.15622/ia.24.5.7.