Las cámaras y los sensores modernos, junto con los algoritmos de procesamiento de imágenes y la inteligencia artificial (IA), están marcando el comienzo de una nueva era de agricultura de precisión y fitomejoramiento.
por la Universidad Agrícola de NanJing
En un futuro cercano, los agricultores y los científicos podrán cuantificar varios rasgos de las plantas simplemente apuntando dispositivos de imágenes especiales a las plantas.
Sin embargo, se deben superar algunos obstáculos antes de que estas visiones se conviertan en realidad. Un problema importante que se enfrenta durante la detección de imágenes es la dificultad de combinar datos de la misma planta recopilados de múltiples sensores de imágenes , también conocidos como imágenes «multiespectrales» o «multimodales». Los diferentes sensores están optimizados para diferentes rangos de frecuencia y brindan información útil sobre la planta. Desafortunadamente, el proceso de combinar imágenes de plantas adquiridas usando múltiples sensores, llamado ‘registro’, puede ser notoriamente complejo.
El registro es aún más complejo cuando se trata de imágenes multiespectrales tridimensionales (3D) de plantas a corta distancia. Para alinear correctamente las imágenes de primer plano tomadas con diferentes cámaras, es necesario desarrollar algoritmos computacionales que puedan abordar de manera efectiva las distorsiones geométricas. Además, los algoritmos que realizan el registro de imágenes de corto alcance son más susceptibles a los errores causados por una iluminación desigual. Esta situación se enfrenta comúnmente en presencia de sombras de hojas, así como reflejo y dispersión de la luz en copas densas.
En este contexto, un equipo de investigación que incluye al profesor Haiyan Cen de la Universidad de Zhejiang, China, propuso recientemente un nuevo enfoque para generar nubes de puntos de plantas de alta calidad mediante la fusión de imágenes de profundidad e imágenes espectrales instantáneas. Como se explica en su artículo, que se publicó en Plant Phenomics , los investigadores emplearon un proceso de registro de imágenes de tres pasos que se combinó con una nueva técnica basada en inteligencia artificial (IA) para corregir los efectos de iluminación.
El profesor Cen explica: «Nuestro estudio muestra que es prometedor utilizar referencias estéreo para corregir espectros de plantas y generar nubes de puntos multiespectrales 3D de alta precisión de plantas».
La configuración experimental consistió en una plataforma elevadora que sostenía un escenario giratorio a una distancia preestablecida de dos cámaras en un trípode; una cámara de profundidad RGB (rojo, verde y azul) y una cámara multiespectral instantánea. En cada experimento, los investigadores colocaron una planta en el escenario, la rotaron y la fotografiaron desde 15 ángulos diferentes.
También tomaron imágenes de una superficie plana que contenía hemisferios de teflón en varias posiciones. Las imágenes de estos hemisferios sirvieron como datos de referencia para un método de corrección de reflectancia, que el equipo implementó utilizando una red neuronal artificial.
Para el registro, el equipo utilizó primero el procesamiento de imágenes para extraer la estructura de la planta de las imágenes generales, eliminar el ruido y equilibrar el brillo. Luego, realizaron un registro aproximado utilizando Características robustas aceleradas (SURF), un método que puede identificar características importantes de la imagen que en su mayoría no se ven afectadas por los cambios en la escala, la iluminación y la rotación.
Finalmente, los investigadores realizaron un registro fino usando un método conocido como «Demonios». Este enfoque se basa en encontrar operadores matemáticos que puedan «deformar» de manera óptima una imagen para que coincida con otra.
Estos experimentos mostraron que el método de registro propuesto superó significativamente los enfoques convencionales. Además, la técnica de corrección de reflectancia propuesta produjo resultados notables, como destaca el profesor Cen: «Recomendamos usar nuestro método de corrección para plantas en etapas de crecimiento con baja complejidad estructural del dosel y hojas aplanadas y anchas». El estudio también destacó algunas áreas potenciales de mejora para hacer que el enfoque propuesto sea aún más poderoso.
Satisfecho con los resultados, el profesor Cen concluye: «En general, nuestro método se puede utilizar para obtener un modelo preciso de nubes de puntos multiespectrales en 3D de plantas en un entorno controlado. Los modelos se pueden generar sucesivamente sin variar las condiciones de iluminación».
En el futuro, técnicas como esta ayudarán a los científicos, agricultores y fitomejoradores a integrar fácilmente los datos de diferentes cámaras en un formato uniforme. Esto no solo podría ayudarlos a visualizar rasgos importantes de las plantas, sino también alimentar estos datos al software emergente basado en IA para simplificar o incluso automatizar completamente los análisis.
Más información: Pengyao Xie et al, Generación de nubes de puntos multiespectrales 3D de plantas con fusión de imágenes instantáneas espectrales y RGB-D, Plant Phenomics (2023). DOI: 10.34133/plantafenomics.0040
