Dynamic Load Balancing and Fault Tolerance for Machine Learning Deployments Using a Process Control Table

Abstract

Deploying machine learning models in production environments presents significant challenges when systems must process high request volumes while maintaining stable real-time performance. Existing solutions often address request distribution, performance monitoring, and fault management separately, which may contribute to bottlenecks, increased latency, and service saturation. This study presents the design of a Process Control Table that acts as a central coordinator for orchestrating the real-time execution of machine learning models. The proposed mechanism dynamically routes incoming tasks to the least occupied worker available at the time of assignment. Prototype testing indicates that the Process Control Table reduces latency and maintains more stable response times under high demand than the traditional schemes evaluated in the study, which tended to become saturated. The mechanism also promotes equitable workload distribution and incorporates automatic failover capabilities to improve deployment reliability. These findings indicate that centralised process coordination can support dynamic load balancing, request optimisation, and fault tolerance in machine learning deployments. Spanish-language metadata / Metadatos en españolTítulo en español: Balanceo dinámico de carga y tolerancia a fallos en despliegues de aprendizaje automático mediante una tabla de control de procesos Resumen: El despliegue de modelos de aprendizaje automático en entornos de producción presenta desafíos significativos cuando los sistemas deben procesar un gran volumen de solicitudes y, al mismo tiempo, mantener un rendimiento estable en tiempo real. Las soluciones existentes suelen abordar por separado la distribución de solicitudes, la monitorización del rendimiento y la gestión de fallos, lo que puede contribuir a la aparición de cuellos de botella, al aumento de la latencia y a la saturación del servicio. Este estudio presenta el diseño de una tabla de control de procesos que actúa como coordinador central para orquestar la ejecución en tiempo real de modelos de aprendizaje automático. El mecanismo propuesto dirige dinámicamente las tareas entrantes al trabajador disponible con menor carga en el momento de la asignación. Las pruebas realizadas con un prototipo indican que la tabla de control de procesos reduce la latencia y mantiene tiempos de respuesta más estables bajo una alta demanda que los esquemas tradicionales evaluados en el estudio, los cuales tendieron a saturarse. El mecanismo también favorece una distribución equitativa de la carga de trabajo e incorpora capacidades de conmutación automática por error para mejorar la fiabilidad de los despliegues. Estos hallazgos indican que la coordinación centralizada de procesos puede respaldar el balanceo dinámico de carga, la optimización de solicitudes y la tolerancia a fallos en los despliegues de aprendizaje automático. Palabras Claves: MLOps; balanceo de carga; monitorización de modelos; optimización de solicitudes; gestión de procesos. Smart citations: https://scite.ai/reports/10.61467/2007.1558.2026.v17i4.1296Dimensions.Open Alex.