Sistema de descripción de imágenes en PyTorch entrenado con el dataset VizWiz (7.750 imágenes tomadas por personas ciegas). Se diseñaron y compararon dos arquitecturas: MobileNetV3 + LSTM como línea base y GoogLeNet + LSTM con atención de Luong.
Proyecto de deep learning para descripción de imágenes completado como parte de la materia de Deep Learning en el Máster en Ciencia de Datos e Innovación en UTS. El dataset es VizWiz-Captions (7.750 imágenes capturadas por personas ciegas, frecuentemente borrosas o mal iluminadas), lo que representa un desafío de dominio más difícil que los benchmarks estándar. Se diseñaron y entrenaron dos arquitecturas. El Modelo 1 usa un encoder MobileNetV3-Small con descongelamiento parcial (capas features[9:12] entrenables) proyectando a 256 dimensiones, combinado con un decoder LSTM de una capa sin atención, siguiendo la línea base Show and Tell. El Modelo 2 reemplaza el encoder por GoogLeNet, exponiendo una grilla espacial 7x7 (49 parches a 512 dimensiones) y agrega atención de Luong General sobre esos parches, permitiendo al decoder enfocarse en regiones visuales relevantes en cada paso de decodificación. Ambos usan Adam con tasas de aprendizaje diferenciales, búsqueda de haz (k=3) y ReduceLROnPlateau. El Modelo 1 obtuvo mejores puntajes globales de BLEU y ROUGE-L; los mapas de atención del Modelo 2 mostraron anclaje espacial y redujeron la brecha en BLEU-4, indicando que el mecanismo funciona pero necesitaba más tiempo de entrenamiento. Ambos modelos superaron los rangos base esperados de VizWiz.
