Agreement and error rates associated with standardized data collection protocols for skeletal and dental data on 3D virtual subadult crania

Corron, Louise; Broehl, Kristen A; Chu, Elaine Y; Vlemincq-Mendieta, Tatiana; A, Wolfe, Christopher; Pilloud, Marin A.; Scott, G. Richard; Spradley, M Kate; Stull, Kyra E.

doi:10.1016/j.forsciint.2022.111272

Cited by 6 publications

(5 citation statements)

References 89 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…En effet, ce mode d'observation augmente le risque de désaccord. Ce constat ne fait que renforcer les données de la littérature (Pilloud et al, 2019 ;Corron et al, 2022). Pour diminuer le risque de désaccord, il semble important d'avoir en amont un temps d'échange, pendant lequel les observateurs puissent s'entendre sur la prise de données (B-Hardy, 2015).…”

Section: Discussionunclassified

“…Concernant les VA osseuses pour limiter l'impact des données manquantes, inhérentes à l'étude de collections ostéo-archéologiques (Bello et al, 2003), la solution proposée est d'augmenter la taille de l'échantillon sur lequel sont réalisées les études de R&R (Corron et al, 2022). Il faut s'intéresser en début d'étude à la taille de l'échantillon à sélectionner afin d'obtenir une puissance statistique élevée.…”

Section: Zone Anatomiqueunclassified

“…Cependant, les études de R&R réalisées sur un effectif supérieur à 100 individus restent rares (Klales et Kenyhercz, 2015 ;Lewis et Garvin, 2016 ;Lesciotto et Doershuk, 2018). D'un point de vue statistique, le choix s'est porté sur le coefficient de Kappa, coefficient le plus utilisé dans la littérature sur les données qualitatives en anthropologie biologique (Kamnikar et al, 2018 ;Corron et al, 2022), ce qui permet par la suite de faciliter les comparaisons entre les études. De plus, il est utilisable peu importe la nature des variables qualitatives.…”

Section: Zone Anatomiqueunclassified

“…De plus, il est utilisable peu importe la nature des variables qualitatives. Le coefficient alpha de Krippendorff (α) est lui davantage utilisé sur des variables binaires et nominales, et le coefficient de concordance de Kendall (W), de même que le coefficient de corrélation intra-classe (ICC), sur des variables ordinales ayant au moins trois niveaux, ou lorsque le nombre d'observateurs est supérieur à deux (Pilloud et al, 2019 ;Zeman et Beňuš, 2020 ;de Raadt et al, 2021 ;Corron et al, 2022). Le coefficient Kappa de Cohen présente toutefois un inconvénient lorsque la prévalence de la variation est rare dans l'échantillon.…”

Section: Zone Anatomiqueunclassified

“…Le coefficient de Kappa (κ), créé par Cohen en 1960, et son adaptation par Conger, en 1980, (Cohen, 1960Cohen, 1968 ;Conger, 1980 ;Fleiss et al, 2003) ont été choisis comme méthode pour calculer l'accord intra-et inter-observateurs, à la suite d'une revue de la littérature (Hefner, 2009 ;Pilloud et al, 2019 ;Corron et al, 2021 ;Corron et al, 2022). Malgré ses limites bien connues (Pontius et Millones, 2011), il reste ici un choix pertinent, en particulier parce qu'il n'existe pas encore d'alternative réellement pertinente pour l'étude des variables ordinales.…”

Section: Introductionunclassified

See 4 more Smart Citations

Proposition d’une démarche commune pour la sélection de variations asymptomatiques osseuses et dentaires répétables et reproductibles en anthropologie biologique

Ducher¹,

Saliba-Serre²,

Renaud³

et al. 2023

bmsap

View full text Add to dashboard Cite

Les variations asymptomatiques (VA) osseuses et dentaires sont grandement utilisées en anthropologie biologique, notamment pour appréhender les affinités intra-et inter-populationnelles. Cette étude se concentre sur la première étape de toute étude : la répétabilité et la reproductibilité de la méthode mise en place. À partir de l'utilisation du coefficient de Kappa la fiabilité de 198 variables réparties en trois zones anatomiques (crâne, post-crâne et dents) a été analysée. L'échantillon utilisé a été sélectionné parmi les individus les mieux représentés et conservés de la collection ostéo-archéologique Notre-Dame-du-Bourg (Digneles-Bains, périodes médiévale et moderne). Les analyses ont été réalisées, suite à quatre séries de cotations (trois observatrices), et lorsque plus de 20 observations sur des variables polymorphiques ont été obtenues. La qualité de l'accord a été établie selon l'échelle de Fleiss et al. (2003). Bien que les données manquantes aient été un frein dans cette étude, plusieurs propositions sont faites afin de palier ce phénomène. De plus, nous mettons en avant et discutons le fait que l'expérience a un impact sur l'observation des variables qualitatives. Au final, un protocole basé sur la sélection de VA répétables et reproductibles est proposé pour normaliser les comparaisons entre études dans un contexte aussi bien bioarchéologique que médico-légal. Mots clés -caractères morphologiques, variations anatomiques, coefficient de Kappa, répétabilité, reproductibilitéAbstract -Asymptomatic variations (AV) in bones and teeth are widely used in biological anthropology, particularly to understand intra-and inter-population affinities. This study focuses on the first step of any study: the repeatability and reproducibility of the method implemented. Using the Kappa coefficient, the reliability of 198 variables divided into three anatomical areas (cranial, post-cranial and teeth) was analyzed. The sample used was selected among the best represented and best preserved individuals of the Notre-Dame-du-Bourg osteo-archaeological collection (Digneles-Bains, medieval and modern period). The analyses were performed after four rounds of scoring (three observers), and when more than 20 observations of polymorphic variations were obtained. The quality of agreement was established according to the Fleiss et al. scale (2003). Although missing data were a hindrance in this study, several proposals were made to overcome the problem. We also highlight and discuss the fact that experience has an impact on the observation of qualitative variables. The outcome is a proposal for a protocol based on selecting repeatable and reproducible AVs to normalize comparisons between studies in both osteoarchaeological and forensic contexts.

show abstract

Section: Discussionunclassified

Section: Zone Anatomiqueunclassified

Section: Introductionunclassified

See 3 more Smart Citations

Proposition d’une démarche commune pour la sélection de variations asymptomatiques osseuses et dentaires répétables et reproductibles en anthropologie biologique

Ducher¹,

Saliba-Serre²,

Renaud³

et al. 2023

bmsap

View full text Add to dashboard Cite

show abstract

What we see is what we touch? Sex estimation on the skull in virtual anthropology

Braun,

Schwendener,

Kanz

et al. 2024

Int J Legal Med

View full text Add to dashboard Cite

Background The increased use of virtual bone images in forensic anthropology requires a comprehensive study on the observational errors between dry bones and CT reconstructions. Here, we focus on the consistency of nonmetric sex estimation traits on the human skull. Materials and methods We scored nine nonmetric traits on dry crania and mandibles (n = 223) of archaeological origin and their CT reconstructions. Additionally, we 3D surface scanned a subsample (n = 50) and repeated our observations. Due to the intricate anatomy of the mental eminence, we split it into two separate traits: the bilateral mental tubercles and the midsagittal mental protuberance. We provide illustrations and descriptions for both these traits. Results We obtained supreme consistency values between the CT and 3D surface modalities. The most consistent cranial traits were the glabella and the supraorbital margin, followed by the nuchal crest, zygomatic extension, mental tubercles, mental protuberance, mental eminence, mastoid process and ramus flexure, in descending order. The mental tubercles show higher consistency scores than the mental eminence and the mental protuberance. Discussion The increased interchangeability of the virtual modalities with each other as compared to the dry bone modality could be due to the lack of tactility on both the CT and surface scans. Moreover, tactility appears less essential with experience than a precise trait description. Future studies could revolve around the most consistent cranial traits, combining them with pelvic traits from a previous study, to test for accuracy.

show abstract

Anthropology: Population Affinity Estimation

Spiros,

Kamnikar,

Plemons

2024

Reference Module in Social Sciences

View full text Add to dashboard Cite

Agreement and error rates associated with standardized data collection protocols for skeletal and dental data on 3D virtual subadult crania

Cited by 6 publications

References 89 publications

Proposition d’une démarche commune pour la sélection de variations asymptomatiques osseuses et dentaires répétables et reproductibles en anthropologie biologique

Proposition d’une démarche commune pour la sélection de variations asymptomatiques osseuses et dentaires répétables et reproductibles en anthropologie biologique

What we see is what we touch? Sex estimation on the skull in virtual anthropology

Anthropology: Population Affinity Estimation

Contact Info

Product

Resources

About