Deep multisource fusion for satellite imagery

Abstract

Data fusion techniques are still gaining relevant interest in the remote sensing field, opening the opportunity to explore a new alternative to fuse imagery data (Multispectral, Hyperspectral, and LIDAR), enhancing their resolution domains; improving the quality of the image in terms of noise and structural information. Recent Imagery fusion approaches based on Convolutional Neural Networks have been proposed. Although, some constraints are intrinsic to this network. For example, it requires a fixed block size to train the model. Remote sensing research on fusion images is growing as the number of satellites that capture information on different resolution domains increases the required storage size and an alternative to process this data. For example, commercial imaging companies are collecting around 100 terabytes daily, accumulating huge data sets to study the Earth's surface. Consequently, new challenges to the process, management, and storage of this volume of data have arisen. Cloud computing paradigms have the potential to address these challenges through their big pool of resources with low cost, high availability, and storage. In this thesis, we proposed two data fusion approaches based on Long Short Term Memory (LSTM) to overcome the identified constraints and improve the quality of the images. Also, a basic cloud computing platform is developed using Hadoop and Spark to mitigate the need for storage, management, and process remote sensing data.

Las técnicas de fusión de datos siguen ganando un interés relevante en el campo del censado remoto, abriendo la oportunidad de explorar nuevas alternativas para fusionar imágenes satelitales (Multispectral, Hiperespectral, y LIDAR) mejorando las resoluciones en los diferentes dominios; mejorando la calidad de la imagen en términos del ruido and información estructural. Técnicas recientes de fusión de imágenes basadas en redes neuronales ha sido propuesto. Sin embargo, algunas limitaciones son intrínsecas al este netwrok. Por ejemplo, requiere que el tamaño de los bloques de entrenamientos sea igual. Las investigaciones del censado remoto en fusiones de imágenes está creciendo como el número de satélites que captura información sobre diferentes dominios de resolución, ha demandado incrementar el tamaño de almacenamiento requerido y una alternativa para procesar estos datos. Por ejemplo, Campañas comerciales de captura de imágenes están colectando alrededor de 100 terabytes diariamente, acumulando gran cantidad de conjunto de datos para estudiar la superficie terrestre. Consecuentemente, nuevos retos para procesar, manejar y almacenar este volumen de datos han surgido. El paradigma de la computación en la nube tiene el potencial de atender estos retos usando su gran reserva de recursos de bajo costo, alta disponibilidad y almacenamiento. En esta tesis, proponemos dos técnicas de fusión de datos basados en “Long Short Term Memory” (LSTM) para superar las limitaciones identificadas y mejorar la calidad de las imágenes. También, una plataforma básica de computación en la nube es desarrollada usando Hadoop y Spark para mitigar las necesidades de alanceamiento, manejo y proceso de datos del censado remoto.