Concordancia consensuada en metodología observacional

Abstract

En metodología observacional, para abordar la fiabilidad de los datos ya registrados, suele recurrirse a coeficientes de concordancia, coeficientes de correlación o a la teoría de la generalizabilidad; además, cada vez está tomando mayor protagonismo la concordancia consensuada. Esta forma de concordancia trata de lograr la coincidencia entre los observadores antes del registro. A pesar de su creciente presencia en estudios observacionales, son pocos los trabajos que han profundizado en el desarrollo y optimización de esta forma cualitativa de concordancia. El presente trabajo, además de constituirse en un ejemplo de la utilización de la concordancia por consenso, ha comparado el resultado obtenido (tiempo empleado y ajuste con el registro ideal) por grupos de consenso formados por diferente número de integrantes (dos, tres y cuatro observadores). No se han encontrado diferencias significativas al comparar los grupos de concordancia por consenso de dos, tres y cuatro integrantes, ni en relación al tiempo empleado en el registro, ni en lo relativo al porcentaje de acuerdo con el registro ideal. La determinación del tamaño muestral necesario para obtener diferencias significativas entre los grupos, ha permitido elevar conclusiones en términos de eficiencia. The reliability of datasets in observational methodology is typically tested using coefficients of agreement, correlation coefficients, or generalizability theory. Another increasingly popular method used to demonstrate the quality of data is the consensus agreement method, in which two or more observers agree on their coding decisions while creating the dataset. Although the consensus agreement method is being increasingly used in observational studies, few studies have conducted an in-depth analysis of how this qualitative procedure is approached or of how it can be optimized. In this study, in addition to presenting a practical example of the application of the consensus agreement method, we compare the results from three groups (of two, three, and four observers) to analyze performance in terms of time required to code the data and goodness of fit with respect to an optimal dataset. No significant differences were found between the three groups for either of the variables analyzed. Prior calculation of the sample size required to detect significant differences between the groups adds strength to our conclusions regarding the efficiency of the consensus agreement method. Na metodologia observacional, para lidar com a confiabilidade de dois dados já registrados, costumamos passar pelos coeficientes de concordância, coeficientes de correlação ou pela teoria da generalização. Além disso, a concordância consensual vem ganhando cada vez mais destaque. Esta forma de concordância tenta chegar a um acordo entre os observadores antes do registro. Apesar de sua crescente presença em estudos observacionais, poucos estudos se aprofundam no desenvolvimento e otimização de uma forma qualitativa de concordância. Ou apresentar trabalho, além de ser um exemplo do uso de concordância de consenso, comparação ou resultado obtido (tempo despendido e ajuste como registro ideal) por grupos de consenso formados por diferentes números de membros (dois, três e quatro observadores). Não foram encontradas diferenças significativas na comparação de dois grupos de concordância por consenso de dois, três e quatro membros, não em relação ao tempo gasto não registrado, mas em relação ao percentual de concordância conforme lista ideal. A determinação do tamanho dá a amostra necessária para obter diferenças significativas entre os grupos, permitindo-nos tirar conclusões em termos de eficiência.

Future horizons in the analysis of technical-tactical performance in women’s football: a mixed methods approach to the analysis of in-depth interviews with professional coaches and players

“…Therefore, the concordance of the registry was measured by calculating the Cohen (1960) , in the intra-observer mode, and yielded a value of 0.708, considered adequate in this study ( Landis and Koch, 1977 ). In addition, consensus agreement ( Lapresa et al, 2021 ) was used as a qualitative method of data quality control among three of the researchers in this study.…”

Systematic Observation of Emotional Regulation in the School Classroom: A Contribution to the Mental Health of New Generations

“…In order to guarantee the quality of the data obtained and considering that in the scientific literature in different areas, it is common to use a percentage of records included between 5 and 20% to find an agreement (Lapresa et al [ 34 ], 15% of the data were recorded. To guarantee the greatest rigor in the quality control of the data, the records were coded at three different times, and Cohen’s kappa coefficient was calculated [ 35 ], obtained by a computer using the free program GSEQ5, with multi-event data, type II [ 36 ], and achieving a concordance of 0.60 or greater.…”

<p>Perceptions of those responsible for a juvenile justice centre regarding a service-learning experience in physical activity and sports_{[Percepción de los responsables de un centro de justicia juvenil sobre una experiencia de Aprendizaje-Servicio en actividad física y deportiva]}</p>

“…Atlas.ti consisten en seleccionar un código y el programa extrae todos los fragmentos de todo el texto relacionado con el código. La calidad del dato fue controlada y garantizada, desde la perspectiva cualitativa, por la concordancia consensuada entre los codificadores (Lapresa Ajamil et al 2021).…”