Fine-Tuning TrOCR for Automatic Number Plate Recognition: A YOLOv11-Based Comparison with Tesseract and EasyOCR

Abstract

TrOCR, a recently proposed object character recognition engine, is implemented along with the YOLOv11 object detector into an Automatic Number Plate Recognition (ANPR) pipeline to identify plates at an entrance of one of the Universidad Juárez Autónoma de Tabasco campus. First tests show moderate results of TrOCR, obtaining a performance of 0.4605 using the Character Error Rate (CER) metric. To improve this result, we perform a fine-tune of the base TrOCR engine retraining the model using a dataset of 651 custom license plate images. The retrained TrOCR reduced CER to 0.2576, demonstrating the effectiveness of retraining for improving recognition accuracy in challenging conditions. The approach shows that combining YOLOv11 with a fine-tuned OCR engine allows accurate recognition under varied conditions, highlighting its potential for robust, real-world deployment. Spanish-language metadata / Metadatos en españolTítulo en español: Ajuste fino de TrOCR para el reconocimiento automático de matrículas: una comparación basada en YOLOv11 con Tesseract y EasyOCR Resumen: Los sistemas de reconocimiento automático de matrículas (ANPR, por sus siglas en inglés) suelen constar de dos etapas: la localización de la matrícula en una imagen y el reconocimiento de sus caracteres mediante reconocimiento óptico de caracteres (OCR). Aunque el aprendizaje profundo ha mejorado significativamente la precisión de la detección —con modelos como YOLOv11, que ofrecen un rendimiento robusto y en tiempo real—, la etapa de OCR continúa siendo un problema abierto, especialmente en condiciones adversas como desenfoque por movimiento, baja iluminación u oclusión parcial. Este artículo evalúa y compara tres motores de OCR —Tesseract, EasyOCR y TrOCR— dentro de una arquitectura ANPR que utiliza YOLOv11 para la detección en un entorno real de un campus universitario. Una contribución principal es el ajuste fino de TrOCR mediante un conjunto de datos personalizado de 651 imágenes de matrículas, diseñado para representar patrones visuales y ruido específicos del dominio. El rendimiento se cuantifica mediante métricas de detección —precisión y exhaustividad— y mediante la tasa de error de caracteres (CER) para evaluar el reconocimiento. YOLOv11 mostró un alto rendimiento de detección, con una precisión de 0.938 y una exhaustividad de 0.995. En la comparación inicial de los motores de OCR, TrOCR superó a los demás, con una CER de 0.461, frente a 0.626 para EasyOCR y 1.027 para Tesseract. Después del ajuste fino, la CER de TrOCR mejoró aproximadamente un 44 %, hasta alcanzar un valor de 0.258, lo que confirma que el reentrenamiento de un modelo robusto puede mejorar la precisión del reconocimiento de caracteres en escenarios reales y complejos. Palabras Claves: visión por computadora; aprendizaje profundo; arquitectura de transformadores. Smart citations: https://scite.ai/reports/10.61467/2007.1558.2026.v17i4.1294Dimensions.Open Alex.