Ortomosaicos utilizando Imgenes Areas tomadas por Drones y su aplicacin en la

Agricultura de Precisin
Diego Gabriel Marcovecchio. Lic. en Ciencias de la Computacin y Becario de Investigacin Doctoral en
el Laboratorio de Ciencias de las Imgenes, Universidad Nacional del Sur, Baha Blanca.
diego.marcovecchio@uns.edu.ar
Julin Ferrari. Ing. Electrnico y Desarrollador en el Laboratorio de Ciencias de las Imgenes, Universidad
Nacional del Sur, Baha Blanca.
julianferrari3@gmail.com
Luis Francisco Costa. Ing. Electrnico y Desarrollador en el Laboratorio de Ciencias de las Imgenes,
Universidad Nacional del Sur, Baha Blanca.
luisfc.90@gmail.com
Gustavo Daz, Ing. Electrnico y Desarrollador en el Laboratorio de Ciencias de las Imgenes,
Universidad Nacional del Sur, Baha Blanca.
gustavogdiaz1@gmail.com
Claudio Augusto Delrieux. Dr. en Ciencias de la Computacin y Director del Laboratorio de Ciencias de
las Imgenes, Universidad Nacional del Sur, Baha Blanca. cad@uns.edu.ar

Introduccin
Una aplicacin de gran importancia para los drones de uso civil es su utilizacin para el
monitoreo de campos en agricultura de precisin. Para ello, es necesaria la adquisicin de
imgenes desde el dispositivo en vuelo, y su posterior procesamiento digital para realizar
diversas tareas. Entre ellas, un requerimiento fundamental es la posibilidad de elaborar
ortomosaicos (posiblemente corregistrados con imgenes satelitales) para poder analizar la
informacin geolocalizada con precisin.
Si bien existen programas comerciales muy conocidos, como Bing Maps o Google Maps, que
realizan mosaicos a partir de imgenes satelitales, estos sistemas presentan problemas
similares: al tratarse de proyectos de alcance mundial, el perodo de re-visita de un sector es de
entre uno y dos aos, por lo que resulta imposible realizar estudios en plazos cortos de un
terreno al no disponer de un banco actualizado de imgenes. Otras aplicaciones comerciales y
proyectos acadmicos que implementan diversas funcionalidades para comparar, transformar,
superponer, y generar mosaicos utilizando conjuntos de imgenes, tienen en general falencias o
limitaciones que dificultan o directamente impiden su uso en workflows intensivos.
Sin embargo, la facilidad de adquisicin de imgenes areas se ha ido incrementando a lo largo
de los ltimos aos debido a diversos factores: el hardware para realizar vuelos (UAVs, drones,
cuadra y hexacpetros) es cada vez ms barato, la toma de fotografas digitales puede
realizarse con cualquier cmara standard, y la transferencia de cientos o miles de imgenes
entre computadoras ya no es un problema debido al ancho de banda disponible. Todo esto hace
posible generar bancos de fotografas propias en sectores de inters para realizar estudios
orientados a objetivos especficos.
An as, el procesamiento de dichas imgenes an est lejos de estar libre de errores. Por otro
lado, el potencial de estas tecnologas es muy grande y est lejos de estar agotado. El objetivo
de este trabajo es presentar el conjunto de desarrollos que se est realizando en el Laboratorio
de Ciencias de las Imgenes en la Universidad Nacional del Sur. El mismo abarca integralmente
todos los aspectos cientficos y tecnolgicos involucrados en la toma de imgenes areas desde

dispositivos areos autopilotados, y su ulterior procesamiento para diversos fines. En particular,

y dada la importancia que tiene este ltimo aspecto, y su menor madurez, nos ocuparemos de
describir el software de procesamiento de imgenes areas, y sus potenciales aplicaciones en
la agricultura de precisin.
Un punto importante a destacar es que el software embebido en los dispositivos areos
autnomos cuentan con la capacidad de realizar telemetra y asociar los datos de vuelo al
momento de la toma de cada imagen. De esta manera, el resultado del procesamiento,
especficamente la geolocalizacin asociada a la elaboracin de mosaicos, es ms robusto en
comparacin al obtenido en software comercial, tal como se describe a continuacin.
Alternativas comerciales para elaboracin de mosaicos
Microsoft Image Composite Editor (ICE) es un software para generar imgenes panormicas
con una interfaz muy sencilla de utilizar, dado que est esencialmente orientado a la rpida
generacin de panoramas a partir de conjuntos de imgenes fotogrficas realizadas por
usuarios comunes. El principal inconveniente de este programa es que todo el procesamiento
se basa en realizar stitching de imgenes sin utilizar metadatos u otra fuente de informacin (en
particular, telemetra o geolocalizacin). Es decir, genera los mosaicos nicamente a partir del
matching de los caractersticos entre todas las imgenes, a ciegas. Esto genera dos problemas
importantes: en primer lugar el tiempo de generacin del mosaico puede ser muy elevado si se
cuenta con un gran nmero de fotos a procesar (pues el algoritmo de matching es de orden
cuadrtico). El segundo, y ms determinante, tiene que ver con la calidad del resultado. Este
software est ms orientado a generar imgenes panormicas convencionales (como por
ejemplo, un paisaje), pero resulta imprctico para fotografas areas.
En una imagen area, generalmente coexisten mltiples zonas con similares caractersticas
(color, textura del terreno, etc.), como en el caso de un campo. El algoritmo de stitching no slo
puede confundir estas zonas y generar un mosaico geogrficamente incorrecto, sino que
adems puede ser difcil encontrar los errores debido a que el programa realiza una
interpolacin entre las imgenes para lograr un blending ms suave, por lo que la transicin
entre dos fotografas puede verse normal aunque no sea correcta. Esto es un problema serio,
debido a que los mosaicos pueden ser utilizados, por ejemplo, para estudiar accidentes
geogrficos, o realizar controles sobre campos o ciudades, y un resultado que en apariencia sea
coherente pero no sea real puede afectar sustancialmente el resultado de los estudios. Puede
observarse un ejemplo de estos casos en la Figura 1. Por todas estas razones, Microsoft ICE
resulta imprctico y poco confiable si se pretende analizar imgenes aereas con precisin,
puesto que en la mayora de los casos el resultado no se condice con la realidad.
Otro software utilizado para generar mosaicos es el Regeemy (Image Registration and
Mosaicking), desarrollado por el Instituto Nacional de Investigacin Espacial de Brasil. Este
programa tambien realiza stitching de imgenes a partir del matching de caractersticos cmo
nico medio para generar un mosaico, e incluye algunas opciones de configuracin extra
respecto al Microsoft ICE: permite seleccionar el modo de deteccin de features o
caractersticos de las imgenes, as como tambin la tolerancia entre las features coincidentes.
Se puede adems comparar distintos mtodos de renderizacin, solapamiento y blending.

Figura 1: comparativa entre nuestro software (izq) y el Microsoft ICE (der). Puede observarse la desaparicin de
algunos edificios, pero con un resultado visualmente coherente que resulta peligroso a la hora de utilizar los mosaicos
para analizar un terreno.

Si bien este software posee diversas herramientas, el procesamiento se restringe slo a dos
imgenes (debido a que fue pensado para georreferenciar una imagen dentro de un mapa
satelital, por ejemplo). Para generar un mosaico se requiere repetir manualmente el proceso de
empalme muchas veces de forma secuencial, lo que no slo resulta imprctico si se cuenta con
un nmero grande de fotografas, sino que adems el error en las transformaciones de
perspectiva inevitablemente se propaga a lo largo de la cadena de imgenes. En conclusin,
Regeemy no es un software gil para procesar imgenes areas de gran dimensin. De todas
formas cuenta con herramientas tiles para obtener un empalme de imgenes de buena calidad,
que pueden utilizarse como referencia a la hora de contrastar resultados.
Muy similar a este software es el OSSIM (Open Source Software Image Map), que posee
mltiples herramientas de procesamiento de imgenes para generar mosaicos. Este programa,
que se encuentra en contnuo desarrollo, realiza matching a partir del anlisis del histograma de
las imgenes. Sin embargo, al igual que en ICE y Regeemy, no utiliza otra fuente de
informacin, por lo que los resultados no pueden ser confiables en su totalidad. Por agregado, el
manejo de memoria hace que el software no tenga la capacidad de procesar gran cantidad de
imgenes, lo que es importante si se requiere (como en el caso de anlisis de cultivos en
campos) generar un mosaico de dimensiones considerables.
Un software muy interesante para la generacin de mosaicos y correccin de perspectiva es el
Hugin. Este sistema fue utilizado en nuestro laboratorio para la generacin de los primeros
mosaicos de prueba. Si bien no es posible utilizar la telemetra de los vuelos como dato de
entrada para este software, s es posible realizar una correccin manual de las features
detectadas y del matching entre ellas, lo cual puede ayudar a la robustez del resultado. Sin
embargo, ste es un proyecto de software libre que contiene muchos bugs y no posee soporte
profesional, y la tendencia a fallas del programa crece mucho con una cantidad grande de
imgenes, por lo que se torna muy inestable a la hora de realizar mosaicos de grandes
dimensiones.

Un reciente mtodo de mapeo semiautomtico fue presentado por Vasuki et. al. En su trabajo
Semi-automatic mapping of geological Structures using UAV-based photogrammetric data: An
image analysis approach, y los mosaicos generados por este software son extremadamente
robustos. Sin embargo, en los ejemplos mostrados para unas pocas imgenes es necesario
marcar manualmente alrededor de 300 puntos caractersticos para que el programa trabaje
adecuadamente. Como el objetivo de nuestro desarrollo es automatizar la generacin de
mosaicos a partir de las imgenes y la telemetra, resulta completamente inadecuado requerir
una supervisin manual tan intensiva.
Desarrollo
En el Laboratorio de Ciencias de las Imgenes de la Universidad Nacional del Sur se estn
llevando adelante diversos proyectos que involucran el uso intensivo de imgenes areas, tanto
pticas como multi e hiperespectrales y termogrficas. Por las razones mencionadas en la
seccin anterior, se est desarrollando la alternativa que se presenta en este trabajo para
generar ortomosaicos geolocalizados a partir de imgenes areas. En las secciones siguientes
se detallarn diferentes aspectos del proceso.
Adquisicin de imgenes
Cada una de las imgenes utilizadas es fotografiada directamente desde un UAV, cuya
electrnica y avinica es tambin desarrollada dentro del grupo de investigacin. De esta
manera, el propio proceso de adquisicin de imgenes puede ser pensado en favor del software
de procesamiento, intentando as prevenir los conocidos potenciales fallos en los programas de
generacin de mosaicos. Para obtener mejores resultados, se asocia a cada imagen un
conjunto de metadata obtenido a partir de la telemetra del autopiloto, que ser utilizada luego
para realizar correcciones en la perspectiva de cada imagen. Los datos guardados actualmente
para cada fotografa son:

Coordenadas del GPS (Latitud y Longitud).

Actitud del avin (yaw, pitch y roll, la rotacin del avin en los tres ejes de navegacin).
Altitud del avin.
Distancia Focal de la cmara.

Para verificar que el mtodo de adquisicin y correccin propuesto fuera correcto en un

ambiente controlado, el primer paso fue realizar una simulacin del proceso de adquisicin de
imgenes. Para ello, sobre una imagen del satlite IKONOS se realiz la simulacin del proceso
de adquisicin de imgenes en vuelo con condiciones especficas, capturando las fotografas a
intervalos irregulares. A cada una de ellas se le asignaron valores simulados (siguiendo un
criterio realista) de (yaw, pitch y roll), as como tambin de altura de vuelo del avin. La
distancia focal se consider fija para cada simulacin de vuelo (pues esta distancia puede fijarse
utilizando cualquier lente particular, o un seteado por software de la cmara).
De esta manera, dada una posicin (x,y), los tres ngulos de navegacin del avin (yaw , pitch
y roll ), su altitud, y la distancia focal de la cmara, puede obtenerse el sector de terreno
tomado por una fotografa en el vuelo simulado, utilizando la siguiente matriz de transformacin
para cada imagen:

Durante el mencionado proceso de validacin, se comprob que el resultado sea coherente

visualmente, y que el error RMS (root-mean-square) fuera bajo.
Generacin de mosaicos
Una vez que los resultados en ambientes controlados fueron satisfactorios, se procedi a
trabajar con imgenes obtenidas directamente de los vuelos autopilotados. A cada fotografa
tomada, se le aplic la matriz de transformacin correspondiente a los datos de navegacin del
avin (y un escalado segn la altura de vuelo), y a partir del conjunto de imgenes trapezoidales,
se procedi a generar el mosaico.
Utilizando una posicin base de cada imagen (que se determina a partir de su posicin GPS
transformada utilizando la misma matriz de transformacin que para la perspectiva), se dispone
de un mosaico preliminar. Este mosaico contiene todas las imgenes tomadas con su
perspectiva corregida y posicionadas en el lugar adecuado. Sin embargo, las imperfecciones de
los instrumentos de muestreo de inclinacin del avin y del GPS hacen que todas estas
transformaciones no sean ptimas, y otros problemas como la diferencia de exposicin, el
movimiento de objetos, y el paralaje hacen que el mosaico preliminar necesite
postprocesamiento.
En nuestro trabajo, tras la transformacin de todas las imgenes segn la telemetra del avin,
se procede a generar un grafo de dependencias en el que se conectan las imgenes que tienen
zonas de interseccin (determinadas segn el trapecio delimitante del terreno que ocupan). Una
vez que se conoce la interseccin entre imgenes, se realiza un ajuste fino entre cada una de
las conectadas. Para comenzar, se detectan los caractersticos en cada una de ellas, utilizando
el algoritmo de SURF (Speeded-Up Robust Features). Tradicionalmente, el matching entre
dichos caractersticos se realiza utilizando FLANN (Fast Approximate Nearest Neighbor Search
Library) y RANSAC (Random sample consensus) para eliminar outliers. Sin embargo, dada la
relativamente baja interseccin que pueden tener las imgenes, este mtodo demostr no ser
robusto en nuestras pruebas. En su lugar, desarrollamos nuestro propio mtodo de filtrado y
apareamiento de caractersticos, sabiendo que todas las imgenes ya se encontraban con la
perspectiva corregida y orientadas en la misma direccin geogrfica (pues este paso es
posterior a la aplicacin de las matrices de transformacin creadas a partir de la telemetra).
Naturalmente, sto no podra realizarse sin contar con los datos de telemetra del avin (y es
una gran ventaja respecto al software comercial disponible).
Dado el match de los caractersticos entre imgenes con intersecciones, se encuentra una
segunda homografa de ajuste fino entre s. Tras reajustar la perspectiva nuevamente, y
encontrar las zonas exactas de interseccin, se procede a la etapa de blending. Para realizar el
blending entre las imgenes se utiliza el algoritmo standard de variacin de opacidad en las
capas: dada la opacidad f de dos pxels en la posicin x, se vara la intensidad de cada una con
pesos de 0 a 1 a lo
largo de cada lnea de
la interseccin de las
fotografas.

Sin embargo, a diferencia del algoritmo tradicional, el scanline de nuestro algoritmo se define a
partir del vector de movimiento en el plano terrestre entre las fotografas, y adems la variacin
de pesos es condicional de acuerdo a los extremos del scanline. Esto genera resultados mucho
ms robustos que los del blending tradicional.

Figura 2: mosaico obtenido al procesar un vuelo de quince imgenes.

Aplicaciones
Describimos a continuacin y de manera muy sucinta las aplicaciones principales a las que se
orienta nuestro proyecto.
Agro
Existe una creciente bibliografa que resea el uso de sistemas informatizados para el apoyo de
la gestin agropecuaria, en lo que se conoce como AgroTICs. En pases como la India, la
aplicacin de estas tecnologas es poltica de estado. El impacto de los resultados del proyecto
en este contexto son inmediatos, ya que permitiran servir de apoyo para determinar informacin
crtica en este tipo de explotaciones como por ejemplo caractersticas del suelo, rindes, estado
madurativo, control de plagas y malezas.
Industria pesquera
El uso de imgenes satelitales y areas, ms sensores oceanogrficos, en conjunto con la
informacin ictcola adecuada recabada de organismos oficiales y de los propios pescadores,

permitira determinar los lugares y pocas ms adecuados para la explotacin pesquera,

adems de controlar las depredaciones y prevenir manejos incorrectos. Otra opcin prevista es
la instalacin de cmaras y equipos de monitoreo en las propias embarcaciones y an en las
diferentes artes de pesca a fin de recabar informacin de los parmetros oceanogrficos
simultneamente con la realizacin de la captura pesquera.
Minera
El uso de sensores multiespectrales e hiperespectrales en UAVs posibilita por un lado la
identificacin de potenciales yacimientos basados en la distribucin superficial de elementos
trazas y, por otro, el control de la contaminacin en explotaciones mineras, as como el impacto
ambiental en general, a una fraccin del costo requerido para igual monitoreo por medios
terrestres.
Turismo
Es cada vez ms creciente el uso de tecnologas de captura y streaming de imgenes, audio y
video en tiempo real a travs de la web para el turismo virtual. En Argentina existen empresas
de turismo virtual que brindan este servicio en forma internacional. Las posibilidades
tecnolgicas de enriquecer la toma en tiempo real de imgenes, junto con los sistemas del tipo
virtual globe como el Google Earth, son prcticamente ilimitadas.
Estudios en ecologa e impacto ambiental
El uso de imgenes satelitales, posiblemente en conjuncin con otros sensores, ha permitido
monitorear el impacto ambiental en las condiciones ms diversas. Situaciones como las de la
contaminacin del estuario de Baha Blanca y su impacto en la pesca artesanal, o la
contaminacin del ro Uruguay por parte de las pasteras, se pueden dirimir de manera
concluyente empleando tecnologas como las que se busca desarrollar en este proyecto. Para
ello se consideran relevamientos areos combinados con estaciones de monitoreo automtico y
muestreos simultneos con los vuelos que permitan calibrar las imgenes.
Monitoreo de desastres ambientales
La tecnologa de sensado remoto, especficamente imgenes areas o satelitales, ha permitido
elaborar la pronta respuesta frente a situaciones de desastre ambiental o ecolgico. La
estimacin de la pluma de dispersin de derrames industriales o de petrleo puede ser
eficazmente determinada a travs de relevamientos areos especialmente con UAVs dado que
su costo operativo y movilidad le da una amplia ventaja sobre vuelos convencionales y sobre las
imgenes satelitales. Cuando estos relevamientos se complementan con modelos
hidrodinmicos y de dispersin de contaminantes permiten una rpida evaluacin de la pluma y
establecer las estrategias de control con adecuada anticipacin para evitar desastre de mayor
envergadura.
Ordenamiento territorial
Las consideraciones de ordenamiento territorial incluyen relevamientos catastrales tanto
urbanos como rurales como as tambin estudios sobre problemas de desertificacin, manejo
de cursos de agua y fluviales, control de erosin de playas, acantilados, etc. Todos estos
relevamientos, dado el bajo costo operativo, permiten que puedan ser repetidos con bajas
periodicidades (p.e., anualmente o mensualmente segn el caso) planteando no solo el
concepto de verificacin de lo existente sino la idea de monitoreo para establecer la evolucin
del territorio analizado.