Современные исследования свидетельствуют о том, что состояние опорно-двигательного аппарата представляет собой серьезную проблему, требующую внимания и разработки эффективных методов лечения и профилактики. Плоско-вальгусная деформация стопы (ПВДС) является одной из наиболее распространенных деформаций опорно-двигательного аппарата, которая влияет на качество жизни миллионов людей во всем мире [1]. ПВДС представляет собой состояние, при котором наблюдаются уменьшение продольного свода стопы и смещение костей стопы в направлении вальгуса (в сторону медиальной линии тела). Это ведет к тому, что свод стопы становится плоским или даже выпуклым, что отличает ПВДС от нормальной структуры стопы с выраженным продольным сводом. При ПВДС нарушается функция сухожилия задней большеберцовой мышцы, что приводит к изменению осевой нагрузки и искривлению осей стоп [2]. Это состояние может не только вызывать физические неудобства, но и повышать риск развития других патологий опорно-двигательной системы, таких как боли в суставах и повреждения связок. Кроме того, ПВДС может ограничивать способность человека выполнять повседневные задачи и оказывать негативное влияние на его общую активность и физическую форму.
Для диагностики деформации стопы существует множество методов. Среди наиболее распространенных и широко используемых методов оценки деформации стопы можно выделить клиническое обследование, рентгенографию, педографию, плантографию, подометрию, подоскопию и вычисление угла пронации стопы [3]. Эти методы обеспечивают комплексное и всестороннее изучение структурных и функциональных особенностей стопы, что позволяет точно определить характер и степень деформации, а также выбрать наиболее эффективные методы лечения и коррекции данного состояния.
Педография – это метод исследования, который дает возможность оценить распределение давления в подошвенной части стопы во время стояния или ходьбы. Для этого используется специальное оборудование – педографическая платформа, которая регистрирует, как вес тела распределяется по поверхности стопы. Это позволяет выявить участки избыточного давления, которые могут стать причиной боли или деформаций.
Плантография – это способ получения отпечатка стопы, который дает возможность оценить ее форму, размеры и особенности строения, в частности высоту свода стопы. Этот метод применяется для диагностики плоскостопия и других аномалий строения стопы.
Подометрия – это методика измерения различных параметров стопы и нижних конечностей, таких как длина стопы, ширина, углы установки пальцев и степень асимметрии стоп. Полученные данные используются для изготовления индивидуальной обуви или ортопедических стелек.
Подоскопия – это визуальный осмотр стопы с помощью специального прибора – подоскопа, который оснащен зеркалом и подсветкой. Этот метод позволяет врачу оценить состояние арок стопы, степень их опущения, наличие деформаций и другие отклонения от нормы.
Дополнительным методом диагностики и оценки патологий опорно-двигательного аппарата стопы является определение угла пронации. Этот угол вычисляется между двумя осями, которые проходят через задний отдел стопы [4]. Для каждой ноги свой угол. Для формирования этих осей необходимо определить три ключевые анатомические точки: n, h и k [5]. Точка n располагается на бугорке пяточной кости, точка h находится на лодыжке, а точка k – на голени. Все эти точки изображены на рисунке 1. Первая ось формируется точками nh, а вторая – hk. Угол между этими осями (t) определяет угол пронации. Оценка угла пронации заднего отдела стопы позволяет оценить степень деформации стопы или плоскостопия. Отклонение угла пронации от нейтральной пронации до 6° считается нормой, однако превышение этого значения может свидетельствовать о наличии вальгусной деформации [6].
Рис. 1. Пример осей для определения угла пронации
Целью данного исследования является разработка методов точного определения ключевых анатомических точек n, h, k на изображениях заднего отдела стопы с использованием современных технологий и инструментов обработки изображений.
Материалы и методы исследования
В ходе исследования была использована интегрированная среда разработки PyCharm, которая способствовала эффективной разработке и тестированию программного обеспечения. Основным языком программирования был выбран Python, обладающий мощными библиотеками для обработки данных и компьютерного зрения. В целях реализации сложных алгоритмов обработки изображений и алгоритмов машинного обучения были использованы библиотеки OpenCV и Ultralytics. Для визуализации результатов анализа применялась библиотека Matplotlib, что обеспечило наглядное представление данных и упростило интерпретацию результатов исследования.
В рамках исследования были использованы изображения заднего отдела стопы человека, которые стали ключевым материалом для анализа и диагностики плоско-вальгусной ПВДС.
335 изображений были получены в ходе собственного исследования по диагностике ПВДС, что позволило работать с актуальными клиническими случаями и разнообразными данными. В исследовании принимали участие 300 человек, а само исследование проводилось на базе медицинского центра «Тохо-Мед» (г. Йошкар-Ола).
Другая половина данных была взята из открытых источников, таких как Kaggle [9] и Roboflow [10], что расширило объем доступного набора данных и обогатило его разнообразием изображений с различными характеристиками и особенностями.
В исходном наборе данных содержалось 335 изображений с деформацией стопы и 215 изображений без видимых патологий. Этот обширный объем данных обеспечил достаточную репрезентативность для проведения анализа и выявления закономерностей в структуре и форме стопы при различных состояниях.
Для обеспечения качества анализа изображений были предприняты меры по удалению всех посторонних шумов, помех и фона, не относящихся к заднему отделу стопы. Это включало применение различных методов фильтрации и обработки изображений, направленных на устранение нежелательных артефактов.
Для эффективного отделения заднего фона и устранения помех была разработана и обучена модель нейронной сети на основе архитектуры U-Net [7]. Функционирование модели подробно описано в статье, которая посвящена методам сегментации изображений [8]. Эта модель является мощным инструментом для сегментации изображений, позволяя точно выделять интересующие области и игнорировать ненужные детали.
Для определения ключевых анатомических точек первым методом необходимо определить контуры ног. Поскольку задний фон удален, определение контура не представляет трудностей с использованием методов библиотеки OpenCV. Один из наиболее часто используемых методов – это метод Canny для обнаружения границ объектов на изображении, который применен для поиска и аппроксимации контуров.
Контуры левой и правой ноги представляют собой отдельные сущности с высотой по вертикальной оси Y и шириной по горизонтальной оси X. Для каждой ноги нужно определить три ключевые анатомические точки. Точки располагаются снизу вверх по вертикальной оси, начиная от бугорка пяточной кости и до голени.
В качестве примера рассмотрим левую ногу. Примем за условие распределение точек по вертикальной оси Y: 1%, 25% и 75% от общей высоты контура ноги. Первая точка будет располагаться на бугорке пяточной кости (1% от общей высоты контура ноги), вторая точка – на уровне лодыжек, приблизительно на месте подтаранного сустава (25–35% от высоты контура), третья точка – на уровне икроножной мышцы (75–80% от высоты контура).
Затем определяется расположение точек по горизонтальной оси X. Каждая точка, расположенная на уровнях 1% – 25% – 75%, будет соответствовать середине горизонтального сечения. Аналогичные действия выполняются для правой ноги.
После определения ключевых анатомических точек строятся оси и определяется угол между ними, для каждой из ног. Вычисленное значение угла считается углом пронации.
Второй метод определения ключевых анатомических точек базируется на использовании модели нейронной сети с архитектурой YOLO (You Only Look Once), которая предварительно обучена для обнаружения ключевых точек с целью определения позы человека [11]. Для успешного адаптирования модели к задаче поиска ключевых анатомических точек на задней части стопы было размечено 550 изображений. Каждое изображение было подвергнуто процессу разметки, где для каждой ноги были точно определены и помечены все три ключевые анатомические точки. Разметка была проведена с помощью сервиса Roboflow и проверена специалистом врачом-ортопедом. Этот этап разметки данных играет критическую роль в обучении модели, поскольку он обеспечивает нейронной сети необходимую информацию для точного распознавания и классификации ключевых точек на изображениях. Размеченные данные предоставляют модели обширный и разнообразный набор примеров, что способствует улучшению ее обобщающей способности и повышению точности результатов.
Затем модель была дообучена на размеченных изображениях, чтобы адаптировать ее к конкретной задаче определения ключевых анатомических точек на задней части стопы. После завершения процесса дообучения модель была готова к использованию для автоматического обнаружения и классификации ключевых точек на новых изображениях стоп.
Результаты исследования и их обсуждение
Модель сегментации изображений, основанная на архитектуре U-Net, продемонстрировала высокую точность в выделении заднего отдела стоп на изображениях. Особенно важно отметить, что удаление посторонних шумов и фона позволило более точно определить контуры стоп для применения разработанных методов.
На рисунке 2 представлен пример работы модели сегментации, где в левой части представлено оригинальное изображение, а в правой части – результат сегментации. Модель продемонстрировала высокую точность, достигнув показателя в 95%, что подтверждает ее эффективность в обработке изображений для дальнейшего анализа.
Рис. 2. Результат работы модели сегментации
Для оценки точности и надежности разработанных методов было проведено тестирование. Тестирование проводилось на 50 новых изображениях, которые ранее не использованы в процессе обучения модели для определения ключевых анатомических точек и не были задействованы при разработке и тестировании методов.
Полученные результаты сравнены с ручной разметкой, которая проведена оператором. Это позволило оценить соответствие результатов, полученных автоматическими методами, реальным анатомическим данным.
Результаты тестирования первого метода позволили выявить важные зависимости между выбранными параметрами и точностью определения ключевых анатомических точек на изображениях. При использовании пропорции 1% – 35% – 70% относительная погрешность для левой ноги составила 31%, а для правой – 37%. При альтернативном выборе пропорции 1% – 25% – 75% погрешность снизилась до 26% для левой ноги и 32% для правой. Результат работы метода при пропорции 1% – 25% – 75% представлен на рисунке 3.
Эти результаты подчеркивают важность индивидуального подхода к каждому изображению и настройки параметров для достижения наилучших результатов. Они также указывают на необходимость тщательного выбора оптимальной пропорции для каждой ноги с учетом индивидуальных анатомических особенностей и условий съемки.
Дальнейшие исследования могут включать разработку алгоритмов автоматического выбора оптимальных параметров на основе анализа анатомических особенностей стопы и характеристик изображения.
Второй подход к определению ключевых точек, основанный на модели, использующей архитектуру YOLO, отличается относительной простотой настройки, но требует значительного объема размеченных данных и тщательного подбора параметров для успешного обучения модели.
Рис. 3. Результат определения ключевых анатомических точек с помощью метода пропорции
При обучении модели на небольшом наборе из 100 изображений была получена относительная ошибка в 47% для левой ноги и 68% для правой. Для этой стадии обучения общая выборка была разделена следующим образом: 90 изображений для обучения (train), 5 изображений для проверки (validation) и 5 изображений для тестирования (test). Относительная ошибка измерялась между предсказанным и истинным углом пронации, который вычисляли на основе ключевых точек, предсказанных моделью YOLO.
Рис. 4. Графики метрик точности и потерь модели YOLO на данных из 550 изображений
Рис. 5. Результат определения анатомических точек с помощью модели YOLO
После дополнительного обучения на расширенной обучающей выборке, состоящей из 550 изображений, ошибка значительно уменьшилась: до 24% для левой ноги и до 29% для правой. В этом случае общая выборка была разделена следующим образом: 500 изображений для обучения (train), 25 изображений для проверки (validation) и 25 изображений для тестирования (test). Относительная ошибка измерялась аналогично первой стадии. Графики метрик precision и loss для оценки ключевых точек представлены на рисунке 4.
Результат работы модели YOLO, которая обучена на 550 изображениях, представлена на рисунке 5.
Полученные результаты демонстрируют важность масштабного обучения модели на большом объеме разнообразных данных для достижения высокой точности в определении ключевых анатомических точек.
Заключение
В рамках исследования были разработаны два метода определения ключевых анатомических точек на изображениях заднего отдела стоп. Каждый метод обладает своими преимуществами и недостатками, выявленными в ходе экспериментов и тестирования. Первый метод, основанный на пропорциональном разделении вертикальной оси изображения, показал меньшую точность из-за необходимости точной настройки параметров и чувствительности к анатомическим особенностям стоп.
Второй метод, основанный на использовании модели архитектуры YOLO, дает возможность автоматического определения ключевых точек без необходимости ручной настройки параметров. Однако для достижения высокой точности требуются значительный объем размеченных данных и настройка параметров.
Дальнейшие исследования могут быть сосредоточены на синтезе первого и второго методов, при котором точки n и k определяются, как в первом методе, а точка h – как во втором. Следует изучить возможность учета особенностей изображений стоп для обеспечения более высокой точности определения ключевых анатомических точек.