Enabling distributed radar data retrieval and processing in distributed collaborative adaptive sensing environments

Abstract

This thesis describes the integration of radar network and grid computing technologies to provide a set of grid services to manipulate and store data from different radars, to execute algorithms on different platforms in a transparent way to end users, and to provide secure access to storage systems and instruments. The solution approach considered is a grid-based system which includes a Grid Portal Interface, a distributed storage to radar data management, and Grid services implementing distributed algorithms to process data radar information.A major requirement of this system is data availability and reliability. Consequently, have been implemented two redundancy schemes to perform the data management of the network: A simple Replication Algorithm and the Information Dispersal Al- gorithm (IDA). Experimental results show that IDA provides better reliability and less storage spending than the traditional replication algorithm. Furthermore, under the same conditions, the redundancy in the replication technique is three times or more than IDA, when the reliability required is over 90%. IDA is normally used to perform security deployments where message encryption is required. Thus, this algorithm has been modified to enable large file management in order to satisfy the large amount of data generated by radars.

Esta tesis describe la integración de tecnologías grid computing y redes de radares metereológicos, con el objetivo de proveer un conjunto de servicios grid para manipular y almacenar datos de diferentes radares, ejecutar algoritmos sobre múltiples plataformas de manera transparente a los usuarios y proveer acceso seguro a los sistemas de almacenamiento e instrumentos. La solución propuesta es un sistema basado en servicios grid el cual incluye un Portal Grid, un sistema distribuido de almacenamiento de datos y servicios grid, implementando algoritmos distribuidos para procesar la información de los datos generados por los radares.El mayor requerimiento de este sistema es la disponibilidad y la confiabilidad de los datos obtenidos. Consecuentemente, se han implementado dos esquemas de redundancia para el manejo de los datos de la red: Un algoritmo de replicación simple y el algoritmo de información dispersa (IDA). Resultados experimentales muestran que IDA provee mejor confiabilidad que el algoritmo de replicación. Adicionalmente, bajo las mismas condiciones, la redundancia en la técnica de replicación es tres veces o más que la de IDA, cuando los requerimientos de confiabilidad están por encima del 90%. IDA es normalmente usado en aplicaciones de seguridad donde se requiere encriptación de mensajes. De esta manera este algoritmo ha sido modificado para poder manipular los archivos de gran tamaño generados por los radares.