Для ускоренного размножения и получения качественного посадочного материала необходимо осуществлять правильный подбор состава питательных сред на каждой стадии развития растений индивидуально для каждой культуры и даже для отдельных сортов. Для оценки эффективности использования применяемой питательной среды необходима регистрация морфологических, физиологических и анатомических параметров прироста отдельных частей, органов растений и растений в целом. Регистрация параметров растений также необходима для генетических и селекционных экспериментов.
Фиксация параметров растений может производиться при помощи мануальных измерений или с использованием цифровых методов. При мануальном способе измерения возникает ряд проблем, а именно ограниченное количество измеряемых характеристик (невозможно точно измерить объемы, площади частей растения и растения в целом); низкая скорость и точность измерений; зависимость результата от человеческого фактора; при исследовании образца в пробирке необходимо вынимать растение, что нарушает микроклимат в пробирке и потенциально может повредить растение; отсутствие унификации в критериях оценки; слабый контроль динамики развития.
Исследование растений цифровыми методами позволяет решить проблемы мануальных измерений. Занимается этим наука на стыке биологии и информатики – феномика. Основной задачей феномики является фенотипирование, что означает проведение точной и объективной регистрации параметров растений за счет цифровых методов автоматизации.
Целью исследования является анализ современного состояния проблемы фенотипирования растений, а также систематизация существующих наиболее перспективных алгоритмов, методов и комплексов для оценки роста и развития растений.
Материалы и методы исследования
Материалами исследования послужили научные статьи и пособия в области компьютерного зрения, 3D моделирования и систем фенотипирования растений.
Методами исследования служили эмпирические методы – изучение литературы, документов, сайтов, результатов, опыта и теоретические методы – анализ, синтез, сравнение, обобщение, выявление противоречий.
Результаты исследования и их обсуждение
На основании [1–3] были проанализированы алгоритмы и методы расчета фенотипических характеристик растений с возможностью визуализации и выявлены наиболее общие этапы процесса их получения, как это схематично представлено на рис. 1.
Рис. 1. Схема процесса регистрации параметров растений
При использовании цифрового подхода первичную информацию о растении получают при помощи датчиков или сенсоров, которые могут быть активными и/или пассивными; далее происходит процесс предобработки полученных данных.
Предварительная обработка может заключаться в улучшении качества изображений, фильтрации шумов, коррекции дисторсии, сегментации силуэта растения на фоне и т.д.
На следующем шаге производится построение модели растения, на основании которой измеряются параметры растения, производится их анализ. Методы анализа варьируются исходя из задач исследования и могут включать сравнительный анализ признаков, внутриклассовую классификацию, межклассовую классификацию, поиск выбросов и т.д. По итогам анализа пользователю представляется понятная для человека информация в виде таблиц, графиков, изображений.
Особый интерес представляют методы построения моделей и оценки параметров растений ввиду своего алгоритмического и аппаратного разнообразия.
Анализ методов построения моделей растений
Оценка фенотипических параметров растений производится на основе двумерных изображений или на основе объемной реконструкции растений в трехмерном пространстве. Выбор подхода производится на основании выбора параметров растений, которые необходимо получить для конкретного исследования.
А. Оценка параметров растений на основе двумерных изображений.
Оценка параметров растений на основе двумерных изображений многократно производилась различными исследовательскими коллективами, например [3–5]. При этом измерения параметров производятся в плоскости изображения в пикселях, которые далее преобразуются в метрическую систему измерения. Данный подход обладает алгоритмической и вычислительной простотой по сравнению с методами, работающими с 3D моделями растений, и способен производить весьма точную оценку параметров растений с относительно простой анатомической структурой. Однако при усложнении анатомической структуры растения проявляются недостатки подобного метода. Так, сильная кустистость растений, большое количество листьев или листья с большой листовой пластиной могут скрывать расположенные за ними элементы растения, тем самым не давая возможность верной оценки структуры растения и, как следствие, проведения верных расчетов. Для преодоления этой проблемы используется серия фотоснимков с различных ракурсов – вид сверху, серия видов сбоку с фиксированным шагом вращения, на каждом снимке производится расчет параметров, а далее производится анализ полученных значений с целью получения наиболее достоверных [6]. Следует отметить, что даже при таком подходе невозможно получить множество параметров с высокой точностью, например углы наклона листьев, площади поверхности и объемы листьев и стебля. Для получения более точных данных и большего количества параметров создают 3D модель растения, на базе которой производят дальнейшие вычисления. Такой подход является более сложной задачей с инженерной и вычислительной точек зрения, но позволяет получить большее количество параметров растений, а также более точные результаты ввиду того, что модель растения сохраняет размерность пространства реального объекта.
Б. Оценка параметров растений на основе трехмерных моделей.
Растения могут иметь достаточно сложную анатомию для моделирования, поэтому до конца 1960-х гг. ботанические рисунки были основным средством представления их структуры. Развитие цифровой техники дало старт компьютерному моделированию растений, в первую очередь синтетических, создаваемых на основе правил для формального описания развития сложных ветвящихся структур.
В 1968 г. венгерский биолог и ботаник Аристид Линденмайер предложил формальный способ описания развития простых многоклеточных организмов, а затем высших растений на базе разработанной им L-системы [7]. Это формальная грамматика, состоящая из алфавита и продукционных правил, которые позволяют выразить свойства рекурсивности и самоподобия роста организма.
В 1998 г. Годин и Каральо [8] разработали метод MTG (от англ. Multiscale Tree Graph – многоуровневый древовидный граф) для гибкого и унифицированного описания растений с использованием топологической и геометрической информации на разных масштабах. Метод MTG получил широкое распространение и используется в различных специализированных программных продуктах, например, таких как AMAPmod [9] и Open Alea [10].
Моделирование растений на основе правил позволяет создать синтетические растения, которые отображают структуру реальных или желаемых растений, но не обязательно отражают детально параметры любого существующего растения.
В настоящее время, используя высокопроизводительные компьютеры, портативные камеры и датчики, стало возможно применять множество подходов для создания точной 3D модели растений.
При использовании методов моделирования растений, использующих информацию с сенсоров, получают реальные данные для разработки детализированных 3D-моделей растений. Сенсоры делятся на пассивные, измеряющие отражённый свет или тепловое излучение, и активные, которые используют собственный источник излучения [11].
Большинство активных сенсоров для 3D моделирования используют технологию LiDAR или Structured Light [11].
Для исследования растений пассивными сенсорами используют одну оптическую камеру или несколько оптических камер в связке. Оптические камеры позволяют работать с растениями, находящимися в пробирке за стеклом, не нарушая микроклимат пробирки и не травмируя растение. Существует множество методов по созданию 3D моделей на основе двумерных изображений. Данные методы объединены в зарубежной литературе термином «Shape from X» (от англ. форма на основе Х), где X является указанием того, на чем базируется сам метод [12]. Наиболее популярными являются следующие методы:
– Shape from Shading – создание 3D модели по одиночному изображению на основе яркостного анализа [12, 13],
– Shape from Silhouette – создание 3D модели по силуэту объекта на изображении [12, 14, 15],
– Shape from Stereo – создание 3D модели по изображениям стереопары [16],
– Shape from Motion – создание 3D модели по набору изображений, полученных при движении наблюдателя [12, 17].
На рис. 2 схематично продемонстрировано распределение известных методов моделирования растений.
Рис. 2. Наиболее популярные методы автоматизированного моделирования объектов
Существующие автоматизированные комплексы фенотипирования растений
Обзор литературы показал, что системы фенотипирования классифицируются на мобильные и стационарные. Мобильные системы, как правило, располагаются на подвижной платформе и используются для исследования растений на больших площадях, например в полях [18–20]. Стационарные системы предназначены для проведения исследований в лабораторных условиях.
В литературе преобладает описание использования стационарных систем фенотипирования, основанных на обработке 2D-изображений. Например, система фенотипирования «PHENOPSIS» [21] использует мультисенсорный комплекс для анализа реакции растений на различные факторы окружающей среды и составы почвы. Результатом работы системы являются прогностические модели развития растений на основе показателей температуры, освещенности, состояния воды в почве, влажности воздуха, а также анализа внешнего вида и состояния растения на изображениях, полученных камерой, расположенной над горшком с объектом.
«HTPheno» – это система анализа изображений для фенотипирования растений по двум видам – сверху и сбоку [22]. В рамках эксперимента рассчитывались такие параметры, как высота, ширина и предполагаемая площадь побегов растений. «HTPheno» использовался для анализа двух сортов ячменя.
Система «GROWSCREEN» [23] позво- ляет измерять площадь листьев и относительную скорость роста на основе изображений с камеры, расположенной над массивом из 120 саженцев. Расчет площади производился путем подсчета пикселей после наложения битовых масок с заданными пороговыми значениями в HSV палитре.
В работе [24] авторы разработали комплекс под названием «Phenoscope», который является автоматизированной системой фенотипирования, непрерывно вращающей 735 горшков с побегами Arabidopsis thaliana. «Phenoscope» автоматически регулирует полив и оснащен фотокамерой с блоком автоматического анализа изображений для отслеживания размера розетки растений и степени ее расширения во время вегетативной стадии.
В работе [25] исследователи по изображениям растений с видом сверху производят сегментацию растений. Авторы предлагают новую векторную модель контурирования, которая включает в себя априорную информацию о растении, для прогнозирования принадлежности пикселя к растению. Получение точного контура растения позволяет значительно уменьшить погрешности в последующих расчетах фенотипических параметров. Комплекс для фенотипирования «GlyPh» [26] представляет собой недорогую систему фенотипирования растений и оценки количества использованной воды для полива растений, растущих в отдельных горшках. Расчет параметров высоты, ширины и площади листьев производится на базе изображений сверху и сбоку.
К общим недостаткам описанных выше систем следует отнести ограниченный набор измеряемых параметров, так как двумерные изображения не содержат полной информации о трехмерном объекте, из-за чего ракурс камеры относительно одного и того же объекта имеет решающую роль в точности измерений.
Для преодоления данного недостатка используют дополнительную информацию о глубине объекта. Если системы получают и обрабатывают такую информацию, но при этом не строят полноценные 3D модели растений, то такие системы относят к классу моделирования 2,5D моделей. Системы фенотипирования, использующие данные о глубине сканируемого объекта, представлены в работах с применением лазерных дальномеров [27], Time-of-Flight камер [28, 29], камер проецируемого света, таких как Microsoft Kinect [30], стереоскопических камер [31, 32].
Особым классом систем фенотипирования растений являются системы, которые создают и используют трехмерную модель растения. Появление высокопроизводительных компьютеров дало старт развитию методов обработки полноценных 3D-моделей, состоящих из сотен и тысяч полигонов. Трехмерные модели растений могут быть созданы при помощью различных методов, например Shape from Silhouette [33], Shape from Stereo [34] или Shape from Motion [35]. Автоматизированная система фенотипирования «In Vitro» строит 3D модели растений, расположенных в пробирке за стеклом, при помощи метода Space Carving и способна получать до 10 параметров растений и его частей и оценивать рост и развитие исследуемых образцов [36].
Системы, использующие 3D модели для измерения параметров растений, позволяют наиболее точно измерять широкий перечень фенотипических показателей по сравнению с другими рассматриваемыми комплексами фенотипирования [37]. Недостатком таких систем является низкая скорость обработки данных ввиду значительной вычислительной сложности применяемых алгоритмов.
Заключение
В работе обоснована важность автоматизации процесса фенотипирования растений при помощи цифрового подхода. Рассмотренные методы и алгоритмы могут являться основой для моделирования растений и регистрации их морфологических, физиологических и анатомических параметров. Прикладная значимость заключается в возможности построения на основе приведенных работ автоматизированных систем фенотипирования. Уже существующие системы фенотипирования были изучены, отмечены их достоинства, недостатки, а также получаемые параметры в результате работы. На базе этих систем возможно построение новых, более совершенных комплексов, отвечающих заданным требованиям.