Using Formal Verification to Reduce Test Space of Fault-Tolerant Programs

Abstract

Testing object-oriented programs is still a hard task, despite many studies on criteria to better cover the test space. Test criteria establish requirements one want to achieve in testing programs to help in finding software defects. On the other hand, program verification guarantees that a program preserves its specification but its application is not very straightforward in many cases. Both program testing and verification are expensive tasks and could be used to complement each other. This paper presents a new approach to automate and integrate testing and program verification for fault-tolerant systems. In this approach we show how to assess information from programs verification in order to reduce the test space regarding exceptions definition/use testing criteria. As properties on exception-handling mechanisms are checked using a model checker (Java PathFinder), programs are traced. Information from these traces can be used to realize how much testing criteria have been covered, reducing the further program test space.

OConGraX – Automatically Generating Data-Flow Test Cases for Fault-Tolerant Systems

“…OConGraX has been developed to automate test cases for objects and exceptions under dataflow testing techniques, but can be used to help in understanding programs and be integrated with verification tools to take advantages of the V&V approach. In [11], we suggested an approach, and a corresponding tool support, to integrate and automate testing and verification activities for fault-tolerant systems.…”

Teste estrutural de tratamento de exceções em programas OA: representação, critérios e avaliação

“…As diversas subclasses da classe Exception são definidas na API para fazer o tratamento de exceções específicas (Azevedo, 2011). As exceções em Java são classificadas nos seguintes tipos (Xavier et al, 2008):…”

“…Ele checa propriedades referentes ao tratamento de exceções em um sistema Java, além de gerar estatísticas de cobertura relativas aos estados varridos durante a verificação. A figura 3.12 mostra a tela de seleção das propriedades que a ferramentaé capaz de verificar (Xavier et al, 2008).…”

“…Para auxiliar o testador, a ferramenta também e capaz de fazer o mapeamento do bytecode para o código fonte. Além disso, foi criada a JaBUTi/AJ, queé uma extensão da ferramenta JaBUTi, CAPÍTULO (Xavier et al, 2008) Figura 3.12: Ferramenta Java PathFinder Exceptions que da suporte ao teste estrutural para programas Java e AspectJ e tem implementados vários critérios de testes de software baseados em fluxo de controle e critérios baseados em fluxo de dados. A JaBUTi/AJ mantem as características da JaBUTi original (Lemos e Masiero, 2008;Lemos et al, 2007).…”

“…Xavier et al (2008) propõem uma abordagem de verificação apoiada pela ferramenta Java PathFinderExceptions com o objetivo de reduzir o espaço de teste. Para isso, a partir de um arquivo XML que contém os objetos e exceções do sistema, juntamente com os seus pares def-uso,é realizada a verificação de quais pares def-uso são cobertos pela verificação e quais não são cobertos.…”