How to learn with intentional mistakes: NoisyEnsembles to overcome poor tissue quality for deep learning in computational pathology

Abstract

There is a lot of recent interest in the field of computational pathology, as many algorithms are introduced to detect, for example, cancer lesions or molecular features. However, there is a large gap between artificial intelligence (AI) technology and practice, since only a small fraction of the applications is used in routine diagnostics. The main problems are the transferability of convolutional neural network (CNN) models to data from other sources and the identification of uncertain predictions. The role of tissue quality itself is also largely unknown. Here, we demonstrated that samples of the TCGA ovarian cancer (TCGA-OV) dataset from different tissue sources have different quality characteristics and that CNN performance is linked to this property. CNNs performed best on high-quality data. Quality control tools were partially able to identify low-quality tiles, but their use did not increase the performance of the trained CNNs. Furthermore, we trained NoisyEnsembles by introducing label noise during training. These NoisyEnsembles could improve CNN performance for low-quality, unknown datasets. Moreover, the performance increases as the ensemble become more consistent, suggesting that incorrect predictions could be discarded efficiently to avoid wrong diagnostic decisions.

Die Modelltransferierbarkeit von KI in der digitalen Pathologie

“…Für Ensembles wurden je 15 Modelle durch Bagging trainiert und aggregiert. Bei NoisyEnsembles wurden zusätzlich 15 % der Labels im Training verfälscht [ 13 ].…”

“…Sollen Daten genutzt werden, welche vom Trainingsdatensatz abweichen, verlieren Modelle häufig Genauigkeit [ 13 ]. Dies kann von vielen Faktoren beeinflusst werden (Abb.…”

“…Wenn der Domänenshift jedoch unerwartet auftritt, z. B. durch eine veränderte Qualität der Schnitte [ 13 ] aufgrund veränderter Arbeitsabläufe im Labor, können diese Methoden zur Domainadaption ohne Neukalibrierung versagen. Daher ist es wichtig auch allgemeine Methoden zur Transferverbesserung anzuwenden, die ohne Wissen über Zieldomänen auskommen, wie z.…”

“…Beispielhaft ist hier die Variation von Ensembles genannt, die das Potenzial hat, die Übertragbarkeit in vielen Situationen zu verbessern. Beim NoisyEnsemble [ 13 ] wird für jedes Modell des Ensembles ein neues Subset von Patienten und für jeden Patienten nur je eine Klasse gewählt. Auf dieser Klasse werden die Labels verändert, also ein Noise eingefügt (Abb.…”

Artificial Intelligence-Based Quality Assessment of Histopathology Whole-Slide Images within a Clinical Workflow: Assessment of ‘PathProfiler’ in a Diagnostic Pathology Setting

“…Quality issues are also recognised to impact on the development and performance of AI tools for histopathology [4][5][6][7][8], and without assurance of performance reproducibility of such tools, their approval by regulatory bodies and their integration into the clinical setting will remain limited.…”