Methods of expert estimations concordance for integral quality estimation

Kuznetsov, M. P.; Strijov, Vadim

doi:10.1016/j.eswa.2013.08.095

Cited by 12 publications

(3 citation statements)

References 13 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…For an integrated assessment of the consistency of expert evaluations (Kuznetsov and Strijov, 2014), analysis of expert opinions on reaching consensus (Kozierkiewicz-Hetmanska, 2017) and conducting expert opinion procedures (Perez-Rodrıguez and Rojo-Alboreca, 2016), a matrix approach as well as theorems based on the relationship between expert opinions and their number have been proposed. Multicriteria decision-making tasks based on hierarchy analysis have been discussed to improve the consistency of experts (Khatwani and Kar, 2016) and establish the accuracy of expert evaluation of the object state by pairwise comparison with a quantitative assessment of preferences (Radaev, 2007).…”

Section: Introductionmentioning

confidence: 99%

Study of consistency of expert evaluations of wine sensory characteristics by positional analysis

Khalafyan

Темердашев

Akinshina

et al. 2021

Heliyon

View full text Add to dashboard Cite

Individual characteristics inherent in the expert, as well as their physical and psycho-emotional state subject to the influence of random, uncontrollable factors, contribute to subjectivity in the sensory evaluation of wines. With great variability of opinions, the final results of sensory evaluation may become doubtful. The presence of a random component in the sensory evaluation justifies the use of statistical methods for analyzing the consistency of expert evaluations. Along with Spearman's correlation coefficients and Kendall matching, Cronbach alpha criterion was used to assess the consistency of expert opinions. The advantages of positional analysis have been discussed -Cronbach's alpha criterion is calculated not by the rank of expert points, but by the initial point scale considering its variability; it allows to evaluate the contribution of each expert to the consistency of expert evaluations, as well as the reliability of the total scale of points set for each wine sample. Based on the data analysis from sensory evaluation of the quality of dry red and white wines of Russian production, the results of the consistency study of expert evaluations as well as the reliability of the total score scale have been presented. What is more, analysis of the "loyalty" of experts in evaluating the quality of wines has been performed.

show abstract

Section: Introductionmentioning

confidence: 99%

Study of consistency of expert evaluations of wine sensory characteristics by positional analysis

Khalafyan

Темердашев

Akinshina

et al. 2021

Heliyon

View full text Add to dashboard Cite

show abstract

“…Якщо є додаткова інформація, така, як експертні оцінки інтегрального показника, та оцінки відносної значущості часткових показників, проблема може трактуватися як задача відновлення регресії. Тоді, як пропонується в [7], експертні оцінки ваг відносної значущості певних показників можуть бути використані у якості апріорної інформації для регуляризації задачі, і такий підхід можна розглядати як розвиток ідеї узгодження (координації) експертних оцінок значень інтегрального показника та відносних ваг часткових показників [8,9]. В якості моделі інтегрального індикатору найчастіше використовується проста адитивна модель у вигляді зваженої суми часткових показників, тобто модель, лінійна за параметрами; тоді оцінка параметрів моделі інтегрального показника здійснюється за схемою лінійної регресії.…”

unclassified

“…Оцінки інтегральних показників і оцінки параметрів моделі (5) називаються узгодженими [8,9], якщо вони задовольняють вимогам = ̅ = ̅ . Зрозуміло, що для довільних вихідних даних ця умова не виконується, що вимагає додаткової корекції (координації) оцінок параметрів моделі інтегрального індикатора для забезпечення узгодженості оцінок.…”

unclassified

Експертно-Статистичний Метод Побудови Інтегральних Індикаторів Соціальних І Техніко-Економічних Систем

Grinberg¹,

Водовозова²

2021

grail-of-science

View full text Add to dashboard Cite

Розглянуто задачу побудови інтегрального індикатору на основі агрегування набору часткових показників. В рамках концепції машинного навчання передбачається, що набір вихідних даних складається з набору статистичних даних вимірювань часткових показників та експертних оцінок відповідних значень інтегрального індикатору. Для оцінки параметрів лінійної моделі інтегрального індикатору використовується метод оптимального узгодження експертних і статистичних оцінок.

show abstract