Soft errors detection and automatic recovery based on replication combined with different levels of checkpointing

Abstract

Handling faults is a growing concern in HPC. In future exascale systems, it is projected that silent undetected errors will occur several times a day, increasing the occurrence of corrupted results. In this article, we propose SEDAR, which is a methodology that improves system reliability against transient faults when running parallel message-passing applications. Our approach, based on process replication for detection, combined with different levels of checkpointing for automatic recovery, has the goal of helping users of scientific applications to obtain executions with correct results. SEDAR is structured in three levels: (1) only detection and safestop with notification; (2) recovery based on multiple system-level checkpoints; and (3) recovery based on a single valid user-level checkpoint. As each of these variants supplies a particular coverage but involves limitations and implementation costs, SEDAR can be adapted to the needs of the system. In this work, a description of the methodology is presented and the temporal behavior of employing each SEDAR strategy is mathematically described, both in the absence and presence of faults. A model that considers all the fault scenarios on a test application is introduced to show the validity of the detection and recovery mechanisms. An overhead evaluation of each variant is performed with applications involving different communication patterns; this is also used to extract guidelines about when it is beneficial to employ each SEDAR protection level. As a result, we show its efficacy and viability to tolerate transient faults in target HPC environments.

SEDAR: Detección y recuperación automática de fallos transitorios en sistemas de cómputo de altas prestaciones

“…Estudios recientes muestran que, a medida de que los sistemas de HPC continúan creciendo e incluyendo más componentesde hardware de distintos tipos, el M T BF para una aplicación determinada también disminuye, resultando en una tasa de fallos más alta en general. Aunque un nodo de cómputo presente una avería cada 100 años, una máquina con En un procesador sobre el que se ejecutan procesos de una aplicación paralela de paso de mensajes, existen dos situaciones en las cuales un fallo transitorio resulta en una SDC [92]. Las contribuciones a la tasa total de SDC en aplicaciones paralelas se muestra en la Ecuación 1.5:…”

“…Además, las condiciones ambientales en las que se desempeñan las computadoras, así como el envejecimiento de los componentes, son causas de fallo que no pueden ser predichas durante la etapa de desarrollo [132]. Por otro lado, la evolución arquitectural hacia los multicores ha producido un gran interés en la adaptación de los recursos paralelos que proporcionan para utilizarlos, tal y como se presentan, con el objeto de lograr fiabilidad frente a los fallos transitorios [92].…”

“…El proceso M aster es responsable de la distribución del trabajo y la recuperación de los resultados finales, y también toma parte en el cómputo de la matriz resultado C [92]. Todas las comunicaciones MPI utilizadas en esta versión son bloqueantes.…”

“…Debido a esto, todos los fallos que conducen a T DC tienen un alto impacto sobre los resultados finales: este es el principio sobre el cual se sustenta el mecanismo de detección de SEDAR. estrategia de detección llamada SMCV[91,92,94]), cuyo objetivo es proveer tolerancia a fallos transitorios a sistemas formados por aplicaciones paralelas que utilizan paso de mensajes y se ejecutan en clusters de multicores. SEDAR es una solución basada en La diferencia, si ocurre un fallo, estará dada por el tiempo total de ejecución.La limitación consiste en que se deben almacenar múltiples checkpoints, y no existe seguridad de que un determinado checkpoint no esté corrompido por un fallo que Finalmente, en su estado actual, la metodología y la implementación de SEDAR soportan únicamente los checkpoints coordinados de nivel de sistema (DM T CP ) o no-coordinados (por proceso, en capa de aplicación); en este sentido, requiere ser extendida de forma de poder soportar diferentes tecnologías de checkpointing, como los checkpoints semicoordinados o el checkpointing diferencial o incremental, no tenidas en cuenta hasta el momento.…”

“…Por ejemplo, en[151], se plantea que, como en la ejecución de aplicaciones MPI suele haber operaciones frecuentes de intercambio de mensajes, esos mensajes son tratados como "latidos" (heartbeats), de modo de que si no hay operaciones de paso de mensajes en un proceso específico por un lapso de tiempo considerable, se sospecha de la ocurrencia de un error. el overhead puede variar significativamente[92]. Como consecuencia, la combinación entre la validación de los mensajes con la comparación final de resultados apunta a detectar todos los fallos y obtener un sistema confiable introduciendo un overhead razonable.…”