Научный журнал
Современные наукоемкие технологии
ISSN 1812-7320
"Перечень" ВАК
ИФ РИНЦ = 0,899

ОБЗОР МЕТОДОВ И АЛГОРИТМОВ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ФЕНОТИПИРОВАНИЯ РАСТЕНИЙ

Бережной В.А. 1 Иващук О.А. 1 Семенов Д.С. 2
1 НИУ «Белгородский государственный университет»
2 СПК «Колхоз имени Горина»
Статья посвящена обзору существующих методов фенотипирования растений. Обоснована актуальность автоматизации процесса регистрации точной и объективной оценки морфологических, физиологических и анатомических параметров растений. Рассмотрены алгоритмы и методы расчета фенотипических характеристик растений, а также наиболее общие этапы процесса регистрации параметров растений, заключающиеся в получении первичной информации с сенсоров, предобработки полученных данных, построении модели растения, извлечении требуемых параметров, анализе результатов и визуализации. Анализ алгоритмов и методов производился на базе исследований, основанных на использовании двумерных изображений и исследований, использующих 3D модели растений, приведены плюсы и минусы каждого из подходов. Далее авторы обсуждают существующие мобильные и стационарные автоматизированные комплексы для сбора и оценки параметров роста и состояния растений с использованием 2D изображений, изображений и карты глубины объекта, 3D моделей. Такие системы задействованы в лабораториях биотехнологии растений, лабораториях коммерческих предприятий, выращивающих посадочный материал в промышленных объемах, и в полях. Для рассмотренных комплексов фенотипирования описываются результаты исследований, производится анализ используемых компонентов и приводятся параметры, получаемые на выходе работы систем.
феномика растений
автоматизированная система фенотипирования
математическое моделирование
компьютерное зрение
измерительные системы
1. Zulkifli Z., Saad P., Mohtar I.A. Plant leaf identification using moment invariants & general regression neural network. 11th International conference on hybrid intelligent systems (Melacca, 5-8 December 2011). IEEE, 2011. P. 430–435.
2. Kadir A., Nugroho L.E., Susanto A., Santosa P.I. Experiments of Zernike moments for leaf identification. Journal of Theoretical and Applied Information Technology (JATIT). 2012. Vol. 41. No. 1. P. 82–93.
3. Pornpanomchai C., Rimdusit S., Tanasap P., Chaiyod C. Thai herb leaf image recognition system (THLIRS). Agriculture and Natural Resources. 2011. vol. 45. No. 3. P. 551–562.
4. Babatunde O.H., Armstrong L., Leng J., Diepeveen D. A survey of computer-based vision systems for automatic identification of plant species. Journal of Agricultural Informatics. 2015. Vol. 6. No. 1. P. 61–71.
5. Rojas-Hernández R., López-Chau A., Trujillo-Mora V., Rojas-Hernández C.A. Plant identification using new geometric features with standard data mining methods. 13th International Conference on Networking, Sensing, and Control (Mexico City, 28–30 April 2016). IEEE, 2016. P. 1–4.
6. Gibbs J.A., Pound M., French A.P., Wells D.M., Murchie E., Pridmore T. Approaches to three-dimensional reconstruction of plant shoot topology and geometry. Functional Plant Biology. 2017. Vol. 44. No. 1. P. 62–75.
7. Lindenmayer A. Mathematical models for cellular interactions in development I. Filaments with one-sided inputs. Journal of Theoretical Biology. 1968. Vol. 18. No. 3. P. 280–299.
8. Godin C., Caraglio Y. A multiscale model of plant topological structures. Journal of Theoretical Biolology. 1998. Vol. 191. No. 1. P. 1–46.
9. Godin, C., Costes E., Caraglio Y. Exploring plant topological structure with the AMAPmod software: an outline. Silva Fennica. 1997. Vol. 31. No. 3. P. 357–368.
10. Pradal C., Dufour-Kowalski S., Boudon F., Fournier C., Godin C. OpenAlea: a visual programming and componentbased software platform for plant modeling. Functional plant biology. 2008. Vol. 35. No. 10. P. 751–760.
11. Wang R. 3D building modeling using images and LiDAR: A review. International Journal of Image and Data Fusion. 2013. Vol. 4. No. 4. P. 273–292.
12. Gomes L., Bellon O.R.P., Silva L. 3D reconstruction methods for digital preservation of cultural heritage: A survey. Pattern Recognition Letters. 2014. Vol. 50. P. 3–14.
13. Wang G., Cheng J. Three-dimensional reconstruction of hybrid surfaces using perspective shape from shading. Optik. 2016. Vol. 127. No. 19. P. 7740–7751.
14. Tabb A. Shape from silhouette probability maps: reconstruction of thin objects in the presence of silhouette extraction and calibration error. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Portland, 25–27 June 2013). Washington: IEEE Computer Society, 2013. P. 161–168.
15. Haro G. Shape from silhouette consensus. Pattern Recognition. 2012. Vol. 45. No. 9. P. 3231–3244.
16. Klodt M., Cremers D. High-resolution plant shape measurements from multi-view stereo reconstruction. European Conference on Computer Vision (Zurich, 6–12 September 2014). Cham: Springer, 2014. P. 174–184.
17. Tevs A., Berner A., Wand M., Ihrke I., Bokeloh M., Kerber J., Seidel H.P. Animation cartography – intrinsic reconstruction of shape and motion. ACM Transactions on Graphics (TOG). 2012. Vol. 31. No. 2. P. 1–15.
18. McCool C., Sa I., Dayoub F., Lehnert C., Perez T., Upcroft B. Visual detection of occluded crop: For automated harvesting. International Conference on Robotics and Automation (ICRA) (Stockholm, 16-24 May 2016). IEEE, 2016. P. 2506–2512.
19. Bac C.W. Improving obstacle awareness for robotic harvesting of sweet-pepper. Wageningen University, 2015. 186 p.
20. Sa I., Lehnert C., English A., McCool C., Dayoub F., Upcroft B., Perez T. Peduncle detection of sweet pepper for autonomous crop harvesting – combined color and 3-D information. IEEE Robotics and Automation Letters. 2017. Vol. 2. No. 2. P. 765–772.
21. Dauzat M., Bediee A., Balsera C., Rolland G., Vile D., Muller B., Granier C. PHENOPSIS: from a phenotyping platform to a whole pipeline of analyses. Recent progress in drought tolerance from genetics to modelling (Montpellier, 08-09 June 2015). AGRIS, 2015. P. 82.
22. Hartmann A., Czauderna T., Hoffmann R., Stein N., Schreiber F. HTPheno: an image analysis pipeline for high-throughput plant phenotyping. BMC bioinformatics. 2011. Vol. 12. No. 1. P. 1–9.
23. Walter A., Scharr H., Gilmer F., Zierer R., Nagel K.A., Ernst M., Schurr U. Dynamics of seedling growth acclimation towards altered light conditions can be quantified via GROWSCREEN: a setup and procedure designed for rapid optical phenotyping of different plant species. New Phytologist. 2007. Vol. 174. No. 2. P. 447–455.
24. Tisné S., Serrand Y., Bach L., Gilbault E., Ben Ameur R., Balasse H., Loudet O. Phenoscope: an automated large-scale phenotyping platform offering high spatial homogeneity. The Plant Journal. 2013. Vol. 74. No. 3. P. 534–544.
25. Minervini M., Abdelsamea M.M., Tsaftaris S.A. Image-based plant phenotyping with incremental learning and active contours. Ecological Informatics. 2014. Vol. 23. P. 35–48.
26. Pereyra-Irujo G.A., Gasco E.D., Peirone L.S., Aguirrezábal L.A. GlyPh: a low-cost platform for phenotyping plant growth and water use. Functional Plant Biology. 2012. Vol. 39. No. 11. P. 905–913.
27. Dornbusch T., Lorrain S., Kuznetsov D., Fortier A., Liechti R., Xenarios I., Fankhauser C. Measuring the diurnal pattern of leaf hyponasty and growth in Arabidopsis – a novel phenotyping approach using laser scanning. Functional Plant Biology. 2012. Vol. 39. No. 11. P. 860–869.
28. Van der Heijden G., Song Y., Horgan G., Polder G., Dieleman A., Bink M., Glasbey C. SPICY: towards automated phenotyping of large pepper plants in the greenhouse. Functional Plant Biology. 2012. Vol. 39. No. 11. P. 870–877.
29. Alenya G., Dellen B., Torras C. 3D modelling of leaves from color and ToF data for robotized plant measuring. International Conference on Robotics and Automation (Shanghai, 9–13 May 2011). IEEE, 2011. P. 3408–3414.
30. Chéné Y., Rousseau D., Lucidarme P., Bertheloot J., Caffier V., Morel P., Chapeau-Blondeau F. On the use of depth camera for 3D phenotyping of entire plants. Computers and Electronics in Agriculture. 2012. Vol. 82. P. 122–127.
31. Lou L., Liu Y., Han J., Doonan J.H. Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping. International Conference Image Analysis and Recognition (Algarve, 22-24 October 2014). Cham: Springer, 2014. P. 349–356.
32. Nguyen T.T., Slaughter D.C., Maloof J.N., Sinha N. Plant phenotyping using multi-view stereo vision with structured lights. Autonomous Air and Ground Sensing Systems for Agricultural Optimization and Phenotyping. 2016. Vol. 9866. P. 986608.
33. Paproki A., Sirault X., Berry S., Furbank R., Fripp J. A novel mesh processing based technique for 3D plant analysis. BMC plant biology. 2012. Vol. 12. No. 1. P. 1–13.
34. Pound M.P., French A.P., Murchie E.H., Pridmore T.P. Automated recovery of three-dimensional models of plant shoots from multiple color images. Plant physiology. 2014. Vol. 166. No. 4. P. 1688–1698.
35. Quan L., Tan P., Zeng G., Yuan L., Wang J., Kang S.B. Image-based plant modeling. ACM SIGGRAPH 2006 Papers. 2006. Vol. 25. No. 3. P. 599–604.
36. Berezhnoy V.A., Ivashchuk O.A., Maslakov Y.N., Fedorov V.I., Yacenko V.M. Approaches for Automated Monitoring and Evaluation of In Vitro Plant’s Morphometric Parameters. Journal of Computational and Theoretical Nanoscience. 2020. Vol. 17. No. 9–10. P. 4725–4732.
37. Chaudhury A., Ward C., Talasaz A., Ivanov A.G., Brophy M., Grodzinski B., Barron J.L. Machine vision system for 3D plant phenotyping. IEEE/ACM transactions on computational biology and bioinformatics. 2018. Vol. 16. No. 6. P. 2009–2022.

Для ускоренного размножения и получения качественного посадочного материала необходимо осуществлять правильный подбор состава питательных сред на каждой стадии развития растений индивидуально для каждой культуры и даже для отдельных сортов. Для оценки эффективности использования применяемой питательной среды необходима регистрация морфологических, физиологических и анатомических параметров прироста отдельных частей, органов растений и растений в целом. Регистрация параметров растений также необходима для генетических и селекционных экспериментов.

Фиксация параметров растений может производиться при помощи мануальных измерений или с использованием цифровых методов. При мануальном способе измерения возникает ряд проблем, а именно ограниченное количество измеряемых характеристик (невозможно точно измерить объемы, площади частей растения и растения в целом); низкая скорость и точность измерений; зависимость результата от человеческого фактора; при исследовании образца в пробирке необходимо вынимать растение, что нарушает микроклимат в пробирке и потенциально может повредить растение; отсутствие унификации в критериях оценки; слабый контроль динамики развития.

Исследование растений цифровыми методами позволяет решить проблемы мануальных измерений. Занимается этим наука на стыке биологии и информатики – феномика. Основной задачей феномики является фенотипирование, что означает проведение точной и объективной регистрации параметров растений за счет цифровых методов автоматизации.

Целью исследования является анализ современного состояния проблемы фенотипирования растений, а также систематизация существующих наиболее перспективных алгоритмов, методов и комплексов для оценки роста и развития растений.

Материалы и методы исследования

Материалами исследования послужили научные статьи и пособия в области компьютерного зрения, 3D моделирования и систем фенотипирования растений.

Методами исследования служили эмпирические методы – изучение литературы, документов, сайтов, результатов, опыта и теоретические методы – анализ, синтез, сравнение, обобщение, выявление противоречий.

Результаты исследования и их обсуждение

На основании [1–3] были проанализированы алгоритмы и методы расчета фенотипических характеристик растений с возможностью визуализации и выявлены наиболее общие этапы процесса их получения, как это схематично представлено на рис. 1.

missing image file

Рис. 1. Схема процесса регистрации параметров растений

При использовании цифрового подхода первичную информацию о растении получают при помощи датчиков или сенсоров, которые могут быть активными и/или пассивными; далее происходит процесс предобработки полученных данных.

Предварительная обработка может заключаться в улучшении качества изображений, фильтрации шумов, коррекции дисторсии, сегментации силуэта растения на фоне и т.д.

На следующем шаге производится построение модели растения, на основании которой измеряются параметры растения, производится их анализ. Методы анализа варьируются исходя из задач исследования и могут включать сравнительный анализ признаков, внутриклассовую классификацию, межклассовую классификацию, поиск выбросов и т.д. По итогам анализа пользователю представляется понятная для человека информация в виде таблиц, графиков, изображений.

Особый интерес представляют методы построения моделей и оценки параметров растений ввиду своего алгоритмического и аппаратного разнообразия.

Анализ методов построения моделей растений

Оценка фенотипических параметров растений производится на основе двумерных изображений или на основе объемной реконструкции растений в трехмерном пространстве. Выбор подхода производится на основании выбора параметров растений, которые необходимо получить для конкретного исследования.

А. Оценка параметров растений на основе двумерных изображений.

Оценка параметров растений на основе двумерных изображений многократно производилась различными исследовательскими коллективами, например [3–5]. При этом измерения параметров производятся в плоскости изображения в пикселях, которые далее преобразуются в метрическую систему измерения. Данный подход обладает алгоритмической и вычислительной простотой по сравнению с методами, работающими с 3D моделями растений, и способен производить весьма точную оценку параметров растений с относительно простой анатомической структурой. Однако при усложнении анатомической структуры растения проявляются недостатки подобного метода. Так, сильная кустистость растений, большое количество листьев или листья с большой листовой пластиной могут скрывать расположенные за ними элементы растения, тем самым не давая возможность верной оценки структуры растения и, как следствие, проведения верных расчетов. Для преодоления этой проблемы используется серия фотоснимков с различных ракурсов – вид сверху, серия видов сбоку с фиксированным шагом вращения, на каждом снимке производится расчет параметров, а далее производится анализ полученных значений с целью получения наиболее достоверных [6]. Следует отметить, что даже при таком подходе невозможно получить множество параметров с высокой точностью, например углы наклона листьев, площади поверхности и объемы листьев и стебля. Для получения более точных данных и большего количества параметров создают 3D модель растения, на базе которой производят дальнейшие вычисления. Такой подход является более сложной задачей с инженерной и вычислительной точек зрения, но позволяет получить большее количество параметров растений, а также более точные результаты ввиду того, что модель растения сохраняет размерность пространства реального объекта.

Б. Оценка параметров растений на основе трехмерных моделей.

Растения могут иметь достаточно сложную анатомию для моделирования, поэтому до конца 1960-х гг. ботанические рисунки были основным средством представления их структуры. Развитие цифровой техники дало старт компьютерному моделированию растений, в первую очередь синтетических, создаваемых на основе правил для формального описания развития сложных ветвящихся структур.

В 1968 г. венгерский биолог и ботаник Аристид Линденмайер предложил формальный способ описания развития простых многоклеточных организмов, а затем высших растений на базе разработанной им L-системы [7]. Это формальная грамматика, состоящая из алфавита и продукционных правил, которые позволяют выразить свойства рекурсивности и самоподобия роста организма.

В 1998 г. Годин и Каральо [8] разработали метод MTG (от англ. Multiscale Tree Graph – многоуровневый древовидный граф) для гибкого и унифицированного описания растений с использованием топологической и геометрической информации на разных масштабах. Метод MTG получил широкое распространение и используется в различных специализированных программных продуктах, например, таких как AMAPmod [9] и Open Alea [10].

Моделирование растений на основе правил позволяет создать синтетические растения, которые отображают структуру реальных или желаемых растений, но не обязательно отражают детально параметры любого существующего растения.

В настоящее время, используя высокопроизводительные компьютеры, портативные камеры и датчики, стало возможно применять множество подходов для создания точной 3D модели растений.

При использовании методов моделирования растений, использующих информацию с сенсоров, получают реальные данные для разработки детализированных 3D-моделей растений. Сенсоры делятся на пассивные, измеряющие отражённый свет или тепловое излучение, и активные, которые используют собственный источник излучения [11].

Большинство активных сенсоров для 3D моделирования используют технологию LiDAR или Structured Light [11].

Для исследования растений пассивными сенсорами используют одну оптическую камеру или несколько оптических камер в связке. Оптические камеры позволяют работать с растениями, находящимися в пробирке за стеклом, не нарушая микроклимат пробирки и не травмируя растение. Существует множество методов по созданию 3D моделей на основе двумерных изображений. Данные методы объединены в зарубежной литературе термином «Shape from X» (от англ. форма на основе Х), где X является указанием того, на чем базируется сам метод [12]. Наиболее популярными являются следующие методы:

– Shape from Shading – создание 3D модели по одиночному изображению на основе яркостного анализа [12, 13],

– Shape from Silhouette – создание 3D модели по силуэту объекта на изображении [12, 14, 15],

– Shape from Stereo – создание 3D модели по изображениям стереопары [16],

– Shape from Motion – создание 3D модели по набору изображений, полученных при движении наблюдателя [12, 17].

На рис. 2 схематично продемонстрировано распределение известных методов моделирования растений.

missing image file

Рис. 2. Наиболее популярные методы автоматизированного моделирования объектов

Существующие автоматизированные комплексы фенотипирования растений

Обзор литературы показал, что системы фенотипирования классифицируются на мобильные и стационарные. Мобильные системы, как правило, располагаются на подвижной платформе и используются для исследования растений на больших площадях, например в полях [18–20]. Стационарные системы предназначены для проведения исследований в лабораторных условиях.

В литературе преобладает описание использования стационарных систем фенотипирования, основанных на обработке 2D-изображений. Например, система фенотипирования «PHENOPSIS» [21] использует мультисенсорный комплекс для анализа реакции растений на различные факторы окружающей среды и составы почвы. Результатом работы системы являются прогностические модели развития растений на основе показателей температуры, освещенности, состояния воды в почве, влажности воздуха, а также анализа внешнего вида и состояния растения на изображениях, полученных камерой, расположенной над горшком с объектом.

«HTPheno» – это система анализа изображений для фенотипирования растений по двум видам – сверху и сбоку [22]. В рамках эксперимента рассчитывались такие параметры, как высота, ширина и предполагаемая площадь побегов растений. «HTPheno» использовался для анализа двух сортов ячменя.

Система «GROWSCREEN» [23] позво- ляет измерять площадь листьев и относительную скорость роста на основе изображений с камеры, расположенной над массивом из 120 саженцев. Расчет площади производился путем подсчета пикселей после наложения битовых масок с заданными пороговыми значениями в HSV палитре.

В работе [24] авторы разработали комплекс под названием «Phenoscope», который является автоматизированной системой фенотипирования, непрерывно вращающей 735 горшков с побегами Arabidopsis thaliana. «Phenoscope» автоматически регулирует полив и оснащен фотокамерой с блоком автоматического анализа изображений для отслеживания размера розетки растений и степени ее расширения во время вегетативной стадии.

В работе [25] исследователи по изображениям растений с видом сверху производят сегментацию растений. Авторы предлагают новую векторную модель контурирования, которая включает в себя априорную информацию о растении, для прогнозирования принадлежности пикселя к растению. Получение точного контура растения позволяет значительно уменьшить погрешности в последующих расчетах фенотипических параметров. Комплекс для фенотипирования «GlyPh» [26] представляет собой недорогую систему фенотипирования растений и оценки количества использованной воды для полива растений, растущих в отдельных горшках. Расчет параметров высоты, ширины и площади листьев производится на базе изображений сверху и сбоку.

К общим недостаткам описанных выше систем следует отнести ограниченный набор измеряемых параметров, так как двумерные изображения не содержат полной информации о трехмерном объекте, из-за чего ракурс камеры относительно одного и того же объекта имеет решающую роль в точности измерений.

Для преодоления данного недостатка используют дополнительную информацию о глубине объекта. Если системы получают и обрабатывают такую информацию, но при этом не строят полноценные 3D модели растений, то такие системы относят к классу моделирования 2,5D моделей. Системы фенотипирования, использующие данные о глубине сканируемого объекта, представлены в работах с применением лазерных дальномеров [27], Time-of-Flight камер [28, 29], камер проецируемого света, таких как Microsoft Kinect [30], стереоскопических камер [31, 32].

Особым классом систем фенотипирования растений являются системы, которые создают и используют трехмерную модель растения. Появление высокопроизводительных компьютеров дало старт развитию методов обработки полноценных 3D-моделей, состоящих из сотен и тысяч полигонов. Трехмерные модели растений могут быть созданы при помощью различных методов, например Shape from Silhouette [33], Shape from Stereo [34] или Shape from Motion [35]. Автоматизированная система фенотипирования «In Vitro» строит 3D модели растений, расположенных в пробирке за стеклом, при помощи метода Space Carving и способна получать до 10 параметров растений и его частей и оценивать рост и развитие исследуемых образцов [36].

Системы, использующие 3D модели для измерения параметров растений, позволяют наиболее точно измерять широкий перечень фенотипических показателей по сравнению с другими рассматриваемыми комплексами фенотипирования [37]. Недостатком таких систем является низкая скорость обработки данных ввиду значительной вычислительной сложности применяемых алгоритмов.

Заключение

В работе обоснована важность автоматизации процесса фенотипирования растений при помощи цифрового подхода. Рассмотренные методы и алгоритмы могут являться основой для моделирования растений и регистрации их морфологических, физиологических и анатомических параметров. Прикладная значимость заключается в возможности построения на основе приведенных работ автоматизированных систем фенотипирования. Уже существующие системы фенотипирования были изучены, отмечены их достоинства, недостатки, а также получаемые параметры в результате работы. На базе этих систем возможно построение новых, более совершенных комплексов, отвечающих заданным требованиям.


Библиографическая ссылка

Бережной В.А., Иващук О.А., Семенов Д.С. ОБЗОР МЕТОДОВ И АЛГОРИТМОВ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ФЕНОТИПИРОВАНИЯ РАСТЕНИЙ // Современные наукоемкие технологии. – 2021. – № 4. – С. 111-116;
URL: https://top-technologies.ru/ru/article/view?id=38624 (дата обращения: 26.09.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074