Quality assessment of images from projection devices using deep neural networks

Abstract

Image quality perception in projectors is critical for enhancing user experience in education, business, and entertainment. This research proposes an automated visual assessment tool for accurate image quality assessment (IQA) in DLP projector images. The research utilizes two types of neural networks: No-Reference IQA (NR-IQA) for evaluating blur, blob, and pixel defects, and Full-Reference IQA (FR-IQA) for evaluating color distortion. The methodology involves neural network models, transitioning from a pre-trained VGG16 to a more complex ResNet, and ultimately a refined ResNet + PyramidNet for NR-IQA for the NR-IQA; and a Simasese pre trained VGG16, and Siamese ResNet models for FR-IQA. For the refined NR-IQA ResNet + PyramidNet model AUC of 94%, 96%, 98, 94% in high-quality, blur, blob, and pixel defects, respectively were achieved, with good test outcomes, particularly in projectors with visual defects. Conversely, the FR-IQA Siamese ResNet model achieved AUC rates of 94% and 96% for high quality and color-altered images, respectively. It also demonstrated good performance with real defective scenarios. Limitations were encountered in both situations, where intentionally unfocused images or the presence of shadows caused misclassification of blur or blobs, or when handling new images captured under varying conditions. Despite the limitations, incorporating a diverse dataset, including both simulated and real defective projector images, significantly enhanced model performance and defect identification accuracy.

La percepción de la calidad de la imagen en los proyectores es fundamental para mejorar la experiencia del usuario en la educación, los negocios y el entretenimiento. Esta investigación propone una herramienta automatizada de evaluación visual para una evaluación precisa de la calidad de la imagen (IQA) en imágenes de proyectores DLP. La investigación utiliza dos tipos de redes neuronales: No-Reference IQA (NR-IQA) para evaluar desenfoque, manchas y defectos de píxeles, y Full-Reference IQA (FR-IQA) para evaluar la distorsión del color. La metodología implica modelos de redes neuronales, haciendo la transición desde un VGG16 preentrenado a un ResNet más complejo, y finalmente un ResNet + PyramidNet refinado para NR-IQA; y modelos VGG16 preentrenados Siamese, y modelos Siamese ResNet para FR-IQA. Para el modelo refinado NR-IQA ResNet + PyramidNet, se lograron AUC del 94%, 96%, 98% y 94% en alta calidad, desenfoque, manchas y defectos de píxeles, respectivamente, con buenos resultados en pruebas, especialmente en proyectores con defectos visuales. Por otro lado, el modelo FR-IQA Siamese ResNet logró tasas de AUC del 94% y 96% para imágenes de alta calidad e imágenes con alteraciones de color, respectivamente. También demostró un buen rendimiento con escenarios reales defectuosos. Se encontraron limitaciones en ambas situaciones, donde imágenes intencionalmente desenfocadas o la presencia de sombras causaron una clasificación errónea de desenfoques o manchas, o al manejar nuevas imágenes capturadas en condiciones variables. A pesar de las limitaciones, la incorporación de un conjunto de datos diverso, que incluye imágenes de proyectores defectuosos tanto simuladas como reales, mejoró significativamente el rendimiento del modelo y la precisión en la identificación de defectos.