Expert-validated estimation of diagnostic uncertainty for deep neural networks in diabetic retinopathy detection

Abstract

Deep learning-based systems can achieve a diagnostic performance comparable to physicians in a variety of medical use cases including the diagnosis of diabetic retinopathy. To be useful in clinical practise, it is necessary to have well calibrated measures of the uncertainty with which these systems report their decisions. However, deep neural networks (DNNs) are being often overconfident in their predictions, and are not amenable to a straightforward probabilistic treatment. Here, we describe an intuitive framework based on test-time data augmentation for quantifying the diagnostic uncertainty of a state-of-the-art DNN for diagnosing diabetic retinopathy. We show that the derived measure of uncertainty is well-calibrated and that experienced physicians likewise find cases with uncertain diagnosis difficult to evaluate. This paves the way for an integrated treatment of uncertainty in DNN-based diagnostic systems.is the author/funder, who has granted medRxiv a license to display the preprint in perpetuity. certified by peer review)

Deep Neural Network for Predicting Diabetic Retinopathy from Risk Factors

“…Parmar et al [26] employed a convolutional neural network to detect DR from retinal images and their model outperformed others considered. Furthermore, the ResNet architecture model was utilized to detect DR from fundus images achieving an excellent classification accuracy [27,28]. Finally, Gadekallu et al [29] employed a DNN with grey wolf optimization (GWO) and principle components analysis (PCA) to optimize the parameters and reduce dimensionality, respectively, to predict DR based on extracted features from retinal imaging.…”

Ensemble learning‐based COVID‐19 detection by feature boosting in chest X‐ray images

“…Images can reveal a lot if experimented in apt directions. However, sometimes machines may get over-confident while predicting the result thus, in clinical practices it is necessary to include proper measures, with which the diagnosis is reported [14]. For COVID-19 diagnosis, researchers are exploring different lung imaging modalities to understand and detect the disease.…”

Potenzial von Methoden der künstlichen Intelligenz für die Qualitätssicherung

“…Die Unsicherheit bei der Einzelbilddiagnose soll hingegen die Konfidenz in die Entscheidung für ein einzelnes Bild angeben. Bei herkömmlichen künstlichen neuronalen Netzen ist diese jedoch häufig fehlkalibriert und spiegelt nicht die tatsächliche Unsicherheit wider [13]. Insbesondere wäre wünschenswert, dass ein Netzwerk bei einer noch nie gesehenen Erkrankung oder Veränderung eine hohe Unsicherheit angibt -in der Praxis haben künstliche neuronale Netze aber das Problem, dass sie für Daten, die weit weg von ihren Trainingsdaten sind, eine sehr niedrige Unsicherheit angeben [14].…”

“…Insbesondere wäre wünschenswert, dass ein Netzwerk bei einer noch nie gesehenen Erkrankung oder Veränderung eine hohe Unsicherheit angibt -in der Praxis haben künstliche neuronale Netze aber das Problem, dass sie für Daten, die weit weg von ihren Trainingsdaten sind, eine sehr niedrige Unsicherheit angeben [14]. Um zu erreichen, dass die angegebene Unsicherheit akkurat die tatsächliche Unsicherheit des Verfahrens angibt, müssen spezialisierte Verfahren zum Einsatz kommen [13,15]. Diese können die Unsicherheit der diagnostischen Entscheidung des Netzwerks dadurch abschätzen, dass sie leicht veränderte Varianten des Eingabebilds erzeugen und diese ebenfalls klassifizieren [13] ("Datenaugmentation").…”