Uso de técnicas de clasificación en conglomerados para describir perfiles en grandes bases de datos educativas

Abstract

This thesis describes the procedures used to identify the natural clusters formed by the students from Calculus that participated in the Quiz Project of the Mathematics Department at the University of Puerto Rico Mayagüez Campus The principal techniques for clustering and cluster validation are also discussed. In total four, clustering techniques with validation measures were employed The project was developed in stages. In the first stage data was collected from the Quiz system. For this purpose, an application was developed that inputs files containing quiz results, questionnaires and class results and outputs the information to matrix in which each row represented a student and each column an attribute. During the second stage the information was processed to eliminate unwanted data and weights were assigned to each datum associates with a student. A metric was employed that would help determine the similarities and dissimilarities between students. To formulate an effective methodology to ascertain the clusters that were present in the actual data, datasets consisting of a number of n-dimensional normal distribution with a variety of means and standard deviations were prepared to simulate real data. The simulated datasets were grouped with the cluster algorithms and validation measures were used to determinate the quality of the grouping. The methodology developed with the simulated data was then applied to find natural cluster existing in the real data.

En esta tesis se describe el proceso utilizado para encontrar los conglomerados naturales en los que se encuentran agrupados los estudiantes de Cálculo I que participan en el proyecto QUIZ del Departamento de Matemáticas de la UPRM. Además, se muestra un panorama general de las principales técnicas de agrupación y validación de conglomerados. Para este propósito se utilizaron cuatro de los algoritmos más representativos de estas técnicas y cuatro medidas de validación. El proyecto se desarrolló en varias etapas. En la primera se extrajo la información del sistema Quiz, para lo cual se creó una aplicación que extrae información de archivos de texto en diferentes formatos y con estos datos crea una matriz donde cada fila corresponde a un estudiante y cada columna a sus atributos. En la siguiente etapa se procesó la información mediante la eliminación de datos y la asignación de pesos. Luego se adoptó una métrica para determinar lo similar o disimilar que son los estudiantes entre sí. Como se desconocen las clases a las cuales pertenecen los alumnos y el número de ellas, se diseñó una metodología para identificarlas. Esta metodología consiste de la aplicación de algoritmos de agrupamiento a datos generados aleatoriamente normalmente distribuidos que pretenden simular los datos reales. Posteriormente se midió la calidad de los conglomerados formados con las medidas de validación y se compararon estos conglomerados con los conglomerados reales. De esta forma se pudo establecer el comportamiento de los algoritmos con diferentes estructuras de datos y el grado de confiabilidad de las diferentes medidas de validación. Finalmente se aplicó esta metodología para encontrar los conglomerados naturales subyacentes en los datos reales.