The results of our study suggest that regulation of health care requires thorough appraisal of instruments. Several requirements are identified: first, an instrument that justifies the complexity of care with an accompanying explicit set of standards is necessary. Second, commitment of inspectors to the instrument is essential. And third, training of inspectors is indispensable.

On average, although all types of interventions are effective, improving the diagnostic instrument seems to be the most effective. Especially when highly technical instruments were concerned, improvement proved to be very effective (β = 0.52). Because instrumental variables constitute a major source of error, improving the instrument is an important approach. However, this review offers solid arguments that can complement the literature and practice, with a focus on training the user of the instrument.

Rationale, aims and objectivesWe examined the effect of two interventions on both the reliability and validity of regulatory judgments: adjusting the regulatory instrument and attending a consensus meeting.MethodWe adjusted the regulatory instrument. With a randomized controlled trial (RCT) we examined the effect of the adjustments we made to the instrument. In the consensus meeting inspectors discussed cases and had to reach consensus about the order of the cases. We used a before and after case study to assess the effect of the consensus meeting. We compared the judgments assigned in the RCT with the unadjusted instrument with the judgments assigned with the unadjusted instrument after the consensus meeting. Moreover we explored the effect of increasing the number of inspectors per regulatory visit based on the estimates of the two interventions.ResultsThe consensus meeting improved the agreement between inspectors; the variance between inspectors was smallest (0.03) and the reliability coefficient was highest (0.59). Validity is assessed by examining the relation between the assigned judgments and the corporate standard and expressed by a correlation coefficient. This coefficient was highest after the consensus meeting (0.48). Adjustment of the instrument did not increase reliability and validity coefficients.ConclusionsParticipating in a consensus meeting improved reliability and validity. Increasing the number of inspectors resulted in both higher reliability and validity values. Organizing consensus meetings and increasing the number of inspectors per regulatory visit seem to be valuable interventions for improving regulatory judgments.

In dit onderzoek hebben we de nauwkeurigheid van oordelen van inspecteurs van de Inspectie voor de Gezondheidszorg (IGZ) onderzocht. Het gaat om oordelen over vier criteria van verantwoorde zorg die gegeven zijn in toezichtsbezoeken in verpleeghuizen in 2005/2006. Deze bezoeken vonden plaats in het kader van het Gefaseerd Toezicht (GT). We hebben de onderbouwingen van 615 oordelen over de criteria ''decubitus'', ''voldoende hulp bij eten en drinken'', ''permanent toezicht huiskamers'' en ''zorgzwaartemeting'' geanalyseerd. Onderzocht is in hoeverre de argumenten uit de onderbouwingen van de oordelen overeenkomen met de normen uit het toezichtskader van de IGZ. Hierdoor kon worden nagegaan of de door de inspecteurs feitelijk gegeven oordelen overeenkomen met de oordelen die op basis van de aanwezige argumenten bij een strikte toepassing van de IGZ-normen gegeven hadden moeten worden. De nauwkeurigheid van de feitelijke oordelen zijn door twee onafhankelijke beoordelaars geanalyseerd. Het onderzoek laat zien dat er sprake is van een validiteitsprobleem: de betekenis van de feitelijke oordelen verschilt regelmatig. Bij de vier onderzochte criteria leidt dit tot 52% vals-positieve oordelen en 1% vals-negatieve oordelen. Er is geen verband tussen het percentage vals-positieve oordelen en het gemiddelde oordeel over de vier criteria. Vals-positieve oordelen komen voor bij zowel inspecteurs die lager dan gemiddeld oordelen, als bij inspecteurs die hoger dan gemiddeld oordelen. Het geven van een te positief oordeel vergeleken met de IGZ-norm, komt bij alle in het onderzoek betrokken inspecteurs voor en is daarmee een situatiegebonden kenmerk van deze inspecteurs. Het percentage vals-positieve oordelen is afhankelijk van het criterium dat wordt beoordeeld. Daarmee zijn vals-positieve oordelen ook afhankelijk van de kwaliteit van het gehanteerde instrument, Trefwoorden: toezicht, beoordelaarsverschillen, validiteit, evaluatieonderzoek Inleiding Niet alle inspecteurs van de Inspectie voor de Gezondheidszorg (IGZ) komen in vergelijkbare situaties tot gelijke oordelen. Dit blijkt uit eerder onderzoek naar beoordelaarsverschillen in het Gefaseerd Toezicht (GT) op de verpleeghuiszorg.1 Het oordeel over (aspecten van) een instelling is niet alleen afhankelijk van kenmerken van die instelling, maar ook afhankelijk van de inspecteur; sommige inspecteurs oordelen strenger dan anderen. Onbekend is nog hoe nauwkeurig deze oordelen zijn. Als inspecteurs een criterium niet beoordelen volgens de geoperationaliseerde IGZ-normen, dan zijn deze oordelen als onnauwkeurig te beschouwen omdat de betekenis van de oordelen dan afwijkt van de normen die bij het toezicht gebruikt worden. In dit onderzoek hebben we de nauwkeurigheid van inspecteursoordelen onderzocht.