American Sign Language translation using edge detection and cross co-relation

Abstract

According to the World Health Organization (WHO), there are approximately 360 million people worldwide that have disabling hearing loss and 70 million that are mute. Developing communication advancements is very complex and its been a challenge for many years. Currently, American Sign Language, which is expressed through the hands and face and perceived through the eyes, is the standard language of communication for the Deaf community. However, the development of better communication mechanisms for the hearing impaired is still a big challenge. Our main objective is to implement an automated translation system which can translate the American Sign Language to English text using common computing environments such as a computer and a generic webcam.

In this investigation, a real-time approach for hand gesture recognition system is presented. Two di erent approaches are used to translate English letters and words. In the method to recognize letters, rst, the hand gesture is extracted from the main image by the image segmentation, morphological operation and edge detection technique and then processed to feature extraction stage. And for the words, a video sequence is captured then divided into frames and process them for the frame selection stage. In frame selection stage, frames are sampled and selected for feature extraction and then the gesture is extracted from all of the frames by the same using the same technique as image segmentation, morphological operation, edge detection technique and combined by Montage. In feature extraction stage the Cross-correlation coe cient is applied on the gesture to recognize it. In the result part, the proposed approach is applied on American Sign Language (ASL) database and we are able to achieve 92 - 94% accuracy in translation.

Seg ún la Organización Mundial de la Salud (OMS), hay alrededor de 360 millones de personas en todo el mundo que tienen p érdida auditiva discapacitante y 70 millones que son mudos. Desarrollar los avances de la comunicaci ón es muy complejo y ha sido un desaf ío por muchos años. En la actualidad, el lenguaje de señas americano, que se expresa a trav és del uso de las manos y la cara y se percibe a trav és de la visión, es el lenguaje est ándar de comunicaci ón para la comunidad sorda. Sin embargo, el desarrollo de mejores mecanismos de comunicaci ón para las personas con discapacidad auditiva sigue siendo un gran desaf ío. Nuestro objetivo principal es implementar un sistema automatizado de traducci ón que sea capaz de traducir el lenguaje de señas americano a texto en ingl és utilizando entornos inform áticos comunes como una computadora y una c ámara web gen érica. En esta investigaci ón presentamos un software para el reconocimiento y traducci ón a texto de señas de ASL en tiempo real. Se utilizan dos enfoques diferentes para traducer letras y palabras al idioma ingl és. En el m étodo de reconocimiento de letras, la seña de la mano se extrae de la imagen principal mediante el uso de t écnicas de segmentaci ón de im ágenes, las operaciones morfol ógicas y la t écnica de detecci ón de bordes (edge detection en ingl és) y luego se procesa para la etapa de extracci ón de la letra. La t écnica de reconocimiento de palabras o frases, se utiliza una secuencia de v deo que luego se divide en marcos (frames en ingl és) y los procesa para la etapa de selecci ón del marco. En la etapa de selecci ón del marco, muestreamos y seleccionamos aquel marco que mejor nos permita extraer la seña y luego aplicamos la misma t écnica de segmentaci ón de imagen, operaciones morfol ógicas, t écnica de detecci ón de borde y combinado por Montage. En la etapa de extracci ón de señas, se aplica el coeficiente de correlaci ón cruzada en la seña para reconocimiento. En la parte de resultados, el enfoque propuesto se aplica a la base de datos de lenguaje de signos americano (ASL) Y somos capaces de lograr 92 - 94 % de precisión en la traducción. iv