Object recognition using spherical harmonics shape descriptor in hyperspectral imagery

Abstract

Object recognition in hyperspectral and multispectral imagery has been studied in the last decade. The different approaches to recognition over hyperspectral images are based on spectral behavior, ignoring the shape behavior. On the other hand in multispectral, RGB and gray scale images the approaches are many; mainly considering the shape of the object, but neither of them considering the spectral behavior. In this research, our focus is to develop an algorithm that recognize a man-made objects such cars, buildings, etc using their shape and corresponding spectral information, therefore a fusion of these two sets of information gives is exploited here. The algorithm starts by segmenting the object, to isolate it from the background and other objects, then determining its geometric center, so as to extract its boundary, the geometric center is important in order to extract the shape descriptor. For the shape descriptor we use spherical harmonics, this descriptor have been widely used as a powerful tool for shape recognition but has not been applied to hyperspectral imagery. Once we have the shape descriptor, the boundary of the object’s shape is analyzed and used to recognize it. The algorithm is tested using real hyperspectral images taken from HYDICE sensor, SOC 700 Hyperspectral camera and multispectral aerial images.

El reconocimiento de objetos en imágenes multiespectrales e hiperespectrales ha sido un tópico estudiado en los últimos años. En el campo de imágenes hiperespectrales las aproximaciones presentadas ponderan la información del comportamiento espectral e ignoran la silueta de los objetos analizados. Mientras que en las imágenes multiespectrales, RGB y escala de grises existen numerosas aproximaciones donde la mayoría pondera el comportamiento de la silueta pero no toma en consideración información espectral que no se tiene a disposición. El enfoque del presente trabajo de investigación es desarrollar un algoritmo capaz de reconocer objetos construidos por el hombre como: casas, carros, etc. usando el comportamiento de la forma del objeto y su correspondiente información espectral, la fusión de estos dos conjuntos de datos nos ofrecerá mejores resultados de reconocimiento. Para este propósito se seguirá un conjunto de pasos estructurados. Segmentaremos la imagen de tal forma que aislemos al objeto de los otros objetos así como del fondo. Determinaremos el centro geométrico del objeto para extraer el borde del mismo. Una vez que tengamos definido el centro geométrico calcularemos el descriptor de forma. El descriptor de forma utilizado será esféricos armónicos, este descriptor ha sido ampliamente utilizado en reconocimiento de imágenes, pero hasta el momento no ha sido aplicado a imágenes hiperespectrales. Con el descriptor como resultado compararemos los diferentes bordes de descriptores para finalmente arribar al reconocimiento del objeto. El algoritmo será evaluado con datos reales tomados por el sensor HYDICE, la cámara hiperespectral SOC 700 y además con imágenes aéreas RGB. Este algoritmo puede ser aplicado a diferentes campos como: seguridad, defensa, salud. Y representa un avance significativo en el campo de reconocimiento de objetos.