Methodological criteria for evaluating occupational safety intervention research

Abstract

We describe the importance of evaluating workplace safety interventions. Based on the literature and other scources, we list eight areas for which readers can assess the quality of reports evaluating these interventions. The areas are: intervention objectives and their conceptual basis; study design; external validity; outcome measurement; use of qualitative data; threats to internal validity; statistical analysis; and study conclusions. Good quality evaluations can help avoid wasting limited time, money and eort on ineective or even harmful interventions. #

The relationship between the implementation of voluntary Five-Star occupational health and safety management system and the incidence of fatal and permanently disabling injury

“…The ideal evaluation study is one in which companies are allocated at random to either treatment or control conditions (Shannon et al 1999). In the face of the considerable effort, time and associated costs involved in implementing the NOSA system and the large sample size required, the ideal design is beyond reach.…”

“…The ideal evaluation study is one in which companies are allocated at random to either treatment or control conditions (Shannon et al 1999). The present non-experimental design does not meet this high standard.…”

Bilan relatif aux dispositions de la LSST

“…Nous avons utilisé l'étude la plus récente recensée (Smitha, 2000;Smitha et al, 2001) Nous avons retenu les travaux qui éclairaient les résultats ou les effets des mesures. Il s'agit tant de résultats finaux (lésions) que de résultats intermédiaires (Shannon, Robson et Guastello, 1999 ;Robson et al, 2001), tels que les mesures préventives implantées. Il est en effet recommandé, dans les études évaluatives d'intervention en SST, de mesurer de tels effets intermédiaires, même lorsque l'objectif de l'intervention est de réduire les taux de lésions (effet final) (Shannon, Robson et Guastello, 1999).…”

“…Il s'agit tant de résultats finaux (lésions) que de résultats intermédiaires (Shannon, Robson et Guastello, 1999 ;Robson et al, 2001), tels que les mesures préventives implantées. Il est en effet recommandé, dans les études évaluatives d'intervention en SST, de mesurer de tels effets intermédiaires, même lorsque l'objectif de l'intervention est de réduire les taux de lésions (effet final) (Shannon, Robson et Guastello, 1999). Ces publications ne représentent donc pas un état exhaustif des connaissances sur l'implantation de ces mesures, ni sur le rôle de différents facteurs susceptibles d'influencer leur efficacité (processus d'implantation, contexte des établissements, etc.).…”

The External Validity of Psychometric Testing Methods and Their Meaning for Safe Road Performance

“…In our analysis we will also incorporate the issue of external validity as a methodological criterion for evaluating occupational safety intervention research (Shannon, Robson, & Guastello, 1999), and also the multidimensional approach in organizational behavioral research proposed by Edwards (2001).…”