Современными методами диагностики и визуализации патологий головного мозга являются компьютерная томография (КТ), магнитно-резонансная томография (МРТ) и позитронная – эмиссионная томография (ПЭТ) [1, 2]. При этом изображения внутренней анатомической структуры объекта формируются с помощью различных подходов, в зависимости от выбранного метода диагностики [3]. Подходы к процессу формирования изображения содержат аппаратную и программную составляющие, специфика работы которых приводит к наличию шумов, усреднению значений в пикселях, находящихся на границе двух областей [4]. Вышеперечисленные недостатки приводят к затруднению распознавания на изображениях границ патологии ткани [5].
Проблема выделения границ на медицинских изображениях осложняется не только способами формирования медицинского изображения, но и сложностью внутренней структуры, представленной на изображении. Сложность структуры глиальных опухолей и превалирующее их большинство среди всех первичных опухолей головного мозга объясняется происхождением из клеток нейроглии, вспомогательных клеток нервной ткани, имеющих различную форму и заполняющих пространства между нейронами [6]. Существующие модели исследования изображений, состоящие из различных алгоритмов обработки и анализа изображений [7], не учитывают перечисленные структурные особенности ткани глиальных опухолей.
Неприменимость существующих моделей исследования изображений для выделения границ глиомы головного мозга обусловлена тем, что каждый алгоритм исследования изображения решает свою, локальную задачу, точность и правильность решения которой зависит от эффективности самого алгоритма при заданных условиях.
Так, например, в работе А.А. Потапова [8] говорится о том, что фрактальная обработка изображения справляется с выделением границ объекта на зашумленном изображении. А в работе А.А. Деркач [9] приводится сравнительный анализ методов выделения контуров на медицинских изображениях головы, в результате которого лучшая эффективность определяется у метода Канни. В работе Н.В. Колодникова [10] обоснована значимость использования текстурных признаков для задач сегментации и распознавания объектов на изображении. В работе Н.Ю. Ильясовой [11] предпочтение отдается методам сегментации и кластеризации на основе нейронных сетей.
Задача определения границ глиомы головного мозга обусловлена необходимостью решения поставленных и описанных выше проблем, вызванных методами формирования изображения и структурной сложностью глиомы головного мозга. Задача определения границ глиомы головного мозга не является тривиальной и требует одновременного решения локальных задач, так как при определении границ глиомы головного мозга необходимо не только обособить область патологии, но и осуществить проверку правильности обособления при помощи дополнительных инструментов анализа участков изображения. Это необходимо для обеспечения максимальной точности выделения границ глиомы головного мозга, так как этот этап является важной частью процесса предоперационного планирования [12].
Методы исследования изображений можно разделить на две группы – методы обработки и методы анализа изображений, отличающихся друг от друга принципиально разными подходами к процессу выделения объекта на изображении.
Обработка осуществляется путем внесения в исходное изображение тех или иных изменений с целью подготовки изображения для анализа [13]. Обработка изображений, в рамках рассматриваемой проблемы, заключается в решении следующих задач:
- выделение контуров;
- локализация и определение границ объектов изображения;
- сегментация.
Решение поставленных задач осуществляется с помощью методов сегментации, содержащих в себе алгоритмы выделения контуров, локализации и определения границ объектов. Сегментация преследует две цели [14]:
- декомпозиция изображения на части, удобные для последующего анализа;
- изменение формы описания изображения, так как в результате пиксели преобразуются в высокоуровневые структуры, содержащие больше информации и обеспечивающие дальнейший эффективный анализ изображения.
Так как сегментация является основной составляющей при решении поставленной задачи, она должна соответствовать условиям задачи, удовлетворяя поставленным критериям:
- устойчивость к шумам (У) – КТ-, МРТ-изображения, с которыми будет осуществляться работа, имеют достаточно высокую степень зашумленности, поэтому одним из требований к алгоритму является устойчивость к шумам.
(1)
- степень автоматизации (СА) – критерий оценивает зависимость работы алгоритма от оператора.
(2)
- сложность реализации (СР) – оценивает сложность написания алгоритма, включающую необходимость использования дополнительных библиотек, параллельный или последовательный способ работы алгоритма, использование определенной платформы, необходимо с дополнительных модулей для разработки.
(3)
- самостоятельность алгоритма (СМ) – оценивает возможность функционирования алгоритма как самостоятельного метода сегментации.
(4)
Кортежная модель оценки аналогов методов сегментации
ОА(С) = <О(У), О(СА), О(СР), О(СМ); R>, (5)
где О – оценка; А – аналог; C – сегментация; R – матрица связей.
Таким образом, формула для оценки методов сегментации имеет вид
ОА(С) = О(СМ)*α(СМ) + О(СР)*α(СР) + О(СА)*α(СА) + О(У)*α(У), (6)
где αi – весовой коэффициент i-го критерия.
Было проведено сравнение методов сегментации изображения, представленных в работах [15–17] с использованием метода Томаса Саати (табл. 1).
Таблица 1
Сравнение методов сегментации
Название метода |
У |
СА |
СР |
СМ |
α |
|
Интегральная оценка |
0,54 |
0,31 |
0,1 |
0,05 |
1 |
|
На основе анализа границ |
Граничные |
0 |
0,31 |
0,1 |
0 |
0,32 |
Морфологические |
0 |
0,31 |
0,1 |
0 |
0,32 |
|
Поиск графа |
0,27 |
0 |
0,05 |
1 |
0,32 |
|
Активный контур |
0,27 |
0,31 |
0 |
0,05 |
0,63 |
|
Активный контур и поток вектора градиента |
0,27 |
0,31 |
0 |
0,05 |
0,63 |
|
На основе анализа областей |
Пороговая классификация |
0 |
0,31 |
0,1 |
0 |
0,32 |
Классификаторы |
0,27 |
0 |
0,05 |
0,05 |
0,28 |
|
Кластерный анализ |
0,27 |
0,31 |
0,05 |
0 |
0,63 |
|
Случайное поле Маркова |
0,54 |
0 |
0 |
0,05 |
0,59 |
|
Смешанные методы |
Наращивание области |
0,27 |
0 |
0,05 |
0 |
0,32 |
Метод «разделить и объединить» |
0,27 |
0,31 |
0 |
0 |
0,58 |
|
Нейронные сети |
0,27 |
0,31 |
0 |
0,05 |
0,63 |
Таким образом, каждый из методов имеет свои преимущества и недостатки, при этом нет ни одного метода сегментации, который бы полностью удовлетворял поставленным условиям задачи выделения границ глиомы головного мозга.
Анализ изображения заключается в изучении отдельных характеристик составных частей – фрагментов изображения. Анализ можно осуществлять как на предварительных этапах работы с изображением, так и после решения перечисленных задач. В литературе нет установившегося понятия «анализ изображения», поэтому под ним мы будем понимать определение различных количественных данных изображения – параметров [14]. Так как МРТ-изображение является растровым текстурным изображением и для его анализа существует множество инструментов, то будут рассмотрены методы текстурного анализа изображения.
Рассмотренные методы текстурного анализа изображения должны соответствовать следующим критериям:
- сложность реализации (СР) – критерий оценивает сложность написания алгоритма, включающую необходимость использования дополнительных библиотек, параллельный или последовательный способ работы алгоритма, использование определенной платформы, необходимость дополнительных модулей для разработки.
(7)
- вычислительная сложность (ВС) – данный критерий включает в себя быстродействие алгоритмов, трудоемкость работы алгоритмов, использование графического ядра и т.п.
(8)
- возможность анализа полной сцены изображения (АПС) – данный критерий необходим для определения того, на каком из этапов можно использовать рассматриваемые методы, способны ли они анализировать изображение целиком или только отдельно выделенные объекты.
(9)
Картежная модель оценки аналогов методов текстурного анализа
ОА(ТА) = <О(СР), О(ВС), О(АПС), R)>, (10)
где О – оценка; А – аналог; ТА – текстурный анализ; R – матрица связей.
Таким образом, формула для оценки методов сегментации имеет вид
ОА(TA) = О(СР)*α(СР) + О(ВС)*α(ВС) + О(АПС)*α(АПС), (11)
где αi – весовой коэффициент i-го критерия
Было проведено сравнение методов текстурного анализа изображения, рассмотренных в работах [18–20] с использованием метода Томаса Саати (табл. 2).
Таблица 2
Сравнение методов текстурного анализа
СР |
ВС |
АПС |
α |
|
Интегральная оценка |
0,6 |
0,32 |
0,08 |
1 |
Статистические |
0 |
0,16 |
0,08 |
0,24 |
Структурные |
0,3 |
0 |
0,08 |
0,38 |
Фрактальные |
0,3 |
0,16 |
0 |
0,46 |
Спектральные |
0,3 |
0 |
0,08 |
0,38 |
Анализируя таблицу, было установлено, что ни один из рассмотренных методов текстурного анализа изображения не удовлетворяет условиям поставленной задачи в полной мере, так как в представленной таблице в соответствующей строке есть ноль.
Приведенная оценка существующих методов исследования изображения позволяет сделать вывод о том, что нет метода исследования изображений, полностью удовлетворяющего критериям и условиям поставленной задачи выделения границ глиомы головного мозга по КТ-, МРТ-изображениям. Анализ полученных результатов оценки двух групп аналогов показал, что можно выделить две позиции: кластерный анализ в качестве аналога метода сегментации и фрактальный анализ – в качестве аналога метода текстурного анализа изображения.
Отсутствие метода, полностью удовлетворяющего критериям и условиям поставленной задачи выделения границ глиомы головного мозга, является предпосылкой к выдвижению гипотезы о том, что необходимо разработать комбинированный и специализированный инструментарий, на основе определенных критериев алгоритмов исследования изображения. Необходимо создать общую модель, учитывающую структурные особенности глиом головного мозга и нивелирующую описанные выше проблемы.
Для описания специфики предлагаемого решения был разработан пакет алгоритмических и математических моделей. На рис. 1 представлена алгоритмическая модель предлагаемого решения для выделения границ глиомы головного мозга.
Рис. 1. Алгоритмическая модель предлагаемого решения
Рис. 2. Алгоритмическая модель блока «Обработка»
Рис. 3. Алгоритмическая модель блока «Фрактальный анализ изображения»
Рис. 4. Алгоритмическая модель подфункции «Коррекция регионов» блока «Обработка»
На рис. 2 представлена алгоритмическая модель блока «Обработка».
На рис. 3 представлена алгоритмическая модель блока «Фрактальный анализ изображения».
На рис. 4 представлена алгоритмическая модель подфункции «коррекция регионов» блока «обработка».
Представленный пакет алгоритмических моделей отражает специфику предлагаемого решения поставленной проблемы, которое позволяет запоминать и учитывать новые признаки регионов, полученные с помощью фрактального анализа, дополняющие выбранный метод сегментации и увеличивающие её точность.
На основе представленных алгоритмических моделей разработан пакет математических моделей, каждая из которых описывает блоки структурной модели предлагаемого решения (рис. 5).
Рис. 5. Структурная модель предлагаемого решения
На рис. 5 используются следующие обозначения:
1 – блок загрузки изображения;
2 – блок обработки изображения (предобработка, сегментация, коррекция регионов);
3 – блок визуализации результатов;
4 – блок фрактального анализа изображения;
5 – блок обособления области глиомы от фона;
6 – блок расчета параметров выделенной области глиомы;
7 – общий интерфейс.
Входными данными решаемой задачи выделения границ глиомы головного мозга являются КТ-, МР-изображения, процесс формирования которых описан в [1]. КТ-, МРТ-изображения являются цифровыми изображениями. В условиях поставленной задачи, под цифровым изображением будем понимать матрицу размером M x N вида
(12)
Правая часть этого равенства и есть по определению цифровое изображение. Каждый элемент матрицы называется пикселем.
Первым шагом обработки изображения является его предобработка, осуществляемая путем применения различных масок, фильтров, линейных преобразований и т.п., описанных в [15]. Так как в рассматриваемой задаче входными данными являются КТ-, МРТ-изображения, выбор начальных стадий обработки изображений осуществляется исходя из свойств данного вида изображений [14], а именно:
- изображения имеют низкое разрешение и высокую степень зашумленности;
- имеет место эффект «частичного объема», что осложняет задачу определения точной границы.
Показатель соотношения сигнала к шуму определяется формулой
(13)
где S – среднее значение сигнала; δ – стандартное значение отклонения сигнала от фона.
Таким образом, нами был осуществлен выбор этапов предварительной обработки изображения. Результаты выполнения этапов представлены на рис. 6, a.
Рис. 6. Результат работы алгоритма предлагаемого решения (a – результат работы блока предварительной обработки; б – результат работы блока сегментации на первой итерации; в – результат работы блока коррекции регионов; г – результат работы блока обособления области глиомы)
Устранение фона
Вычисляется среднее значение неравномерного фона по периметру изображения L, поскольку предполагается, что интересующее изображение расположено в центре кадра
(14)
где ni – значение фона в i-м элементе разрешения по периметру изображения.
Суммирование в (14) происходит только по периметру прямоугольного изображения. Далее формируется оценка отфильтрованного изображения по следующему правилу
(15)
При двух- или трехкратном применении данного фильтра к изображению практически весь аддитивный фон устраняется.
Повышение резкости
Обработанное изображение по формулам (14, 15) подвергается преобразованию Фурье [15], осуществляется переход в область пространственных частот . Далее осуществляется повышение высоких пространственных частот путем возведения полученного спектра в степень, показатель которой α лежит в диапазоне (0 … 1). Указанную процедуру можно записать следующим образом:
(16)
Затем осуществляется обратное Фурье-преобразование от и получается оценка изображения Jk+1 с резко выделенными деталями.
Фильтр Винера
Фильтры Винера усиливают интенсивность сигнала от выявленных очаговых изменений, что позволяет повысить точность сегментации патологии. Этот метод менее подвержен влиянию помех. Используется информация о спектральных плотностях мощности изображения и шума.
Спектральная плотность сигнала определяется соотношением
(17)
где – автокорреляционная функция.
Взаимная спектральная плотность сигнала определяется соотношением
(18)
где – функция взаимной корреляции.
При построении фильтра Винера ставится задача минимизации среднеквадратического отклонения обрабатываемого изображения от предмета
(19)
где E{} – математическое ожидание.
Преобразуя эти выражения, можно показать, что минимум (19) достигается, когда передаточная функция определяется следующим выражением
(20)
Если шума на изображении нет, то спектральная плотность функции шума равна 0 и фильтр Винера превращается в обычный обратный фильтр.
На этом шаге исходное изображение приобретает улучшенное визуальное представление, при этом его обработка осуществляется автоматически и с минимальными потерями информации об исходном изображении.
Следующим шагом являются сегментация изображения и фрактальный анализ, отражающие основную специфику разрабатываемой модели.
- Этап сегментации исходного изображения имеет вид
удовлетворяет Q = {Qi}, (21)
где Q – множество критериев метода сегментации.
- Этап фрактального анализа изображения имеет вид
удовлетворяет Q = {Qi}
и H = {Hi}, (22)
где H – множество критериев для выращивания фрактального региона.
- Этап определения ошибки сегментации и запоминания новых признаков регионов, удовлетворяющих критериям. Формально представим в виде
(23)
Обозначения:
a – множество всех пикселей изображения;
– подмножество пикселей, удовлетворяющих критериям сегментации;
– подмножество пикселей, удовлетворяющих критериям фрактального выращивания регионов;
– операция сегментации над множеством A;
– операция фрактального выращивания регионов над множеством A';
K – множество кластеров, полученных после процедуры ;
K' – множество регионов, полученных после процедуры .
Проводимая на первой итерации сегментация выполнена с ошибкой, найденной с помощью оценки разности границ кластеров и фрактальных регионов. Необходимо запомнить новые признаки H, Q и вернуться к этапу сегментации, но уже имея дополнительные учитываемые признаки для выполнения новой итерации сегментации.
Взаимодействие этапов сегментации и фрактального выращивания регионов отображает специфику предлагаемого решения, позволяющего запоминать и учитывать новые признаки регионов, полученные с помощью фрактального анализа.
Описанный этап сегментации (21) должен выполняться автоматически, без ввода дополнительных условий и статических критериев. При этом на выходе должно быть получено разбитое на кластеры изображение, каждый кластер которого хранит в себе информацию о пикселях, принадлежащих ему, такую как интенсивность сигнала пикселей, знания о соседних пикселях, пиксели на границах. Кластерное разбиение изображения на этом этапе является подготовкой к фрактальному анализу, который заключается во фрактальном выращивании регионов из центра масс автоматически определенных кластеров.
Удовлетворяя специфике предлагаемого решения, используется алгоритм кластеризации нечетких k-средних [21]. Нечеткая кластеризация заключается в нахождении нечеткого разбиения элементов исследуемой совокупности элементов на T нечетких кластеров и формирования соответствующих им значений функций принадлежности. Функция принадлежности указывает на степень уверенности в том, что элементы некоторого множества принадлежат заданному нечеткому множеству, и должна удовлетворять условию
(24)
где А – анализируемое изображение.
Из векторов значения признаков формируется матрица данных
(25)
Постановка задачи нечеткого кластерного анализа формулируется таким образом: на основе исходных данных D определить такое нечеткое разбиение множества А на заданное число нечетких кластеров, при котором достигается экстремум некоторой целевой функции среди всех нечетких разбиений.
На функции принадлежности накладываются дополнительные условия нормировки
(26)
(27)
где – число кластеров, Т > 1, – отсутствие пустых кластеров.
Для каждого нечеткого кластера вводится q – мерных векторов центра кластеров каждый компонент которого определяется в соответствии с уравнением
для (28)
где m – экспоненциальный вес.
Целевая функция – сумма квадратов взвешенных отклонений координат объектов кластеризации от центров искомых нечетких кластеров:
(29)
Задача нечеткой кластеризации – найти матрицу U значений функции принадлежности объектов кластеризации нечетким кластерам, обеспечивающую получение минимума целевой функции (29). Результаты работы сегментации на первой итерации приведены на рис. 6, б.
Используемый фрактальный анализ изображения (22) является ключевым в предлагаемом решении, так как модель фрактальной оценки кластеров используется для уменьшения ошибки сегментации. При этом для каждого полученного кластера необходимо определить признаки локальной фрактальной модели, вырастить регион из центра кластера с учетом новых признаков, оценить степень расхождения границ кластера и региона и провести повторную сегментацию с учетом новой информации о текстуре.
Для разработки модели фрактальной оценки кластеров был использован алгоритм сегментации изображений с использованием фрактальной размерности, оцениваемой с помощью коэффициентов вейвлет-разложения, представленный в [22]. Данный метод использует вектор признаков, составленный из оценок фрактальной размерности по трем направлениям (горизонтальное, диагональное и вертикальное) и нескольким уровням вейвлет-разложения. Тот факт, что производится работа с дискретными сигналами, означает отсутствие бесконечного количества уровней изображения. Следовательно, имеется конечное число значений масштаба, на которых возможно произвести вычисление оценки фрактальной размерности. Таким образом, в качестве вектора признаков для исследуемого участка изображения используется последовательность значений, полученная при разных уровнях разрешения и ориентациях.
Для каждого элемента изображения (полученных ранее кластеров) используется следующая формула:
(30)
где N(p)∈K – окно изображения, окружающее пиксель p внутри кластера, представляющее функцию, для которой вычисляется фрактальная размерность; ν∈{0,...,log2m} – уровни декомпозиции (разрешения) дискретного вейвлет-преобразования кластера, θ∈ [горизонтальный, вертикальный, диагональный]; Wθ,ν – вейвлет-коэффициенты изображения; C = log2 – постоянная.
Вычисляемая в данной работе при помощи вейвлет-преобразования оценка фрактальной размерности по формуле (30) используется для формирования многомерного массива признаков.
Выращивание фрактальных регионов происходит аналогично описанному выше алгоритму кластерного анализа с учетом добавления новых признаков в матрицу
(31)
Этап коррекции регионов заключается в оценке полученных на этапе фрактального анализа областей. Коррекция производится с помощью применения гистограмм полученных кластеров и регионов. Если один и тот же элемент входит в кластер, но при этом его фрактальная размерность отличается от элементов данного региона, то необходимо учесть эту разность. Процедура повторяется для каждого элемента. Формируется массив новых признаков элементов.
На последней итерации предложенного алгоритма изображение полностью разбито на окончательные кластеры, при этом подсчитаны фрактальные размерности для каждого из них (рис. 6, в).
Этап обособления области глиомы головного мозга от фона осуществляется с помощью построения гистограммы конечного обработанного и проанализированного изображения. Кластер, описывающий глиому, определяется как участок гистограммы с нехарактерным фрактальным распределением (рис. 6, г).
Таким образом, предлагаемое решение позволяет запоминать и учитывать новые признаки регионов, полученные с помощью фрактального анализа, которые дополняют выбранный метод сегментации и увеличивают её точность. В ходе работы были получены как научные, так и практические результаты:
1. Рассмотрены особенности задачи выделения границы глиомы головного мозга на КТ-, МРТ-изображении. Сформулированы и проанализированы проблемы, вызванные структурной сложностью глиальных опухолей головного мозга. Определена перспективность и актуальность разработки модели автоматического выделения границы глиомы головного мозга.
2. Предложена концепция модели автоматического выделения границ глиомы головного мозга на основе КТ-, МРТ-изображений, включающая современные методы сегментации и фрактального анализа изображений, позволяющих учитывать структурные особенности текстуры изображений глиальных опухолей.
3. Предложена циклическая модель выделения границ глиомы головного мозга с расширенной системой признаков, учитывающей структурные особенности изображения, на основе которых происходит автоматическая коррекция метода сегментации.
4. На основе предложенных алгоритмов в пакете алгоритмических моделей разработан пакет математических моделей. Новизна предлагаемого решения описана математической моделью взаимодействия метода сегментации и фрактального выращивания регионов в блоке «коррекции регионов», где осуществляется коррекция регионов и переход на следующую итерацию алгоритма при помощи анализа системы полученных признаков.