Computerized detection of semantic equivalence among sentences in natural language

Abstract

In natural language, different sentences can express the same meaning, or a sentence can be modified without altering its meaning. This is called “semantic equivalence”. Semantic equivalence can be resolved humans, but it is still an unresolved problem for computerized systems. Shallow semantics is used in this research to recognize semantic equivalence in sentences in English, which makes the approach domain-independent. A case-based system is developed, which uses the Stanford Natural Language parser to obtain grammatical information and looks for patterns identified in each one of the cases. A modified version of the Microsoft Research Paraphrase corpus (MSRP) with 451 sentence pairs was utilized to test the system. An average rate of 89.80% of successful equivalence detection was obtained, which compares favorably with the success rate between 63.94% to 74.00% reported in the literature. The main contributions of this thesis are the development of a system to determine semantic equivalence among sentences using shallow semantics, the identification of the particular structures of the dependencies generated by the parser for each case and the development of a corpus of semantic equivalence sentences.

Las oraciones en lenguaje natural pueden expresar el mismo significado o una oración puede ser modificada sin alterar su significado. A esto se le llama “equivalencia semántica”. La equivalencia semántica puede ser resuelta por un ser humano, pero todavía este problema no ha sido resuelto para los sistemas computarizados. En esta tesis desarrollamos un sistema que usa semántica superficial para reconocer equivalencia semántica en pares de oraciones escritos en el idioma ingles, lo cual hace que la aproximación sea independiente del dominio. El sistema desarrollado para esta tesis consiste de un algoritmo basado en casos, el cual usa el Analizador de Lenguaje Natural de Stanford para obtener la información gramatical de las oraciones y observar los patrones identificados en cada uno de los casos. Una versión modificada del corpus de Investigación de Paráfrasis de Microsoft (MSRP por sus siglas en ingles), la cual tiene un total de 451 pares de oraciones, fue usada para probar el sistema. Se obtuvo una tasa promedio de 89.80% de detección exitosa de equivalencia, la cual compara favorablemente con la tasa de éxito de entre 63.94% a 74.00% reportado en la literatura. Las principales contribuciones de ésta tesis son el desarrollo de un sistema para determinar equivalencia semántica entre oraciones usando semántica superficial, la identificación de estructuras particulares de las dependencias generadas por el analizador para cada caso y el desarrollo de un corpus de oraciones de equivalencia semántica.