In this paper we study statistically sound ways of comparing classifiers in absence for fully reliable reference data. Based on previously published partial frameworks, we explore a more comprehensive approach to comparing and ranking classifiers that is robust to incomplete, erroneous or missing reference evaluation data. On the one hand, the use of a generalized McNemar's test is shown to give reliable confidence measures in the ranking of two classifiers under the assumption of an existing better-thanrandom reference classifier. We extend its use to cases where its traditional formulation is notoriously unstable. We also provide a computational context that allows it to be used for large amounts of data. Our classifier evaluation model is generic and applies to any set of binary classifiers. We have more specifically tested and validated it on synthetic and real data coming from document image binarization.
Національний технічний університет України "Київський політехнічний інститут імені Ігоря Сікорського" kpi.ua Київ, Україна Реферат-У роботі представлено основні існуючі методи та засоби визначення глибини анестезії. Серед розглянутих методів виділено такі групи: аналіз електроенцефалограм, аналіз електрокардіограм (ЕКГ) та комплексний аналіз біосигналів. Систематизовано отримані у попередніх роботах результати та визначені перспективні напрямки подальших досліджень, зокрема використання засобів машинного навчання для аналізу електрокардіограм та їх характеристик та глибоке навчання нейронних мереж. З метою вивчення можливостей нейронних мереж як систем класифікації біосигналів було побудовано глибоку згорткову нейронну мережу для класифікації сигналів ЕКГ з наявністю або відсутністю аритмій. Вхідними даними для такої мережі були 30-секундні сигнали ЕКГ без попередньої обробки, і точність класифікації склала 68,3%. Результати роботи такої системи класифікації свідчать про доцільність застосування глибокого навчання для визначення аритмій та про необхідність використання попередньої обробки ЕКГ та попередньо виділених характерних ознак, серед яких можуть бути величина енергії сигналу у різних частотних діапазонах, параметри сигналу після видалення тренду та параметри сигналу у часовому домені. Бібл. 54, табл. 1. Ключові словааналіз біосигналів; глибина анестезії; електроенцефалограма; варіабельність серцевого ритму; характерні ознаки електрокардіограм; нейронні мережі
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.