Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images

Abstract

Despite continued advancement in recent years, deep neural networks still rely on large amounts of training data to avoid overfitting. However, labeled training data for real-world applications such as healthcare is limited and difficult to access given longstanding privacy, and strict data sharing policies. By manipulating image datasets in the pixel or feature space, existing data augmentation techniques represent one of the effective ways to improve the quantity and diversity of training data.Here, we look to advance augmentation techniques by building upon the emerging success of text-to-image diffusion probabilistic models in augmenting the training samples of our macroscopic skin disease dataset. We do so by enabling fine-grained control of the image generation process via input text prompts. We demonstrate that this generative data augmentation approach successfully maintains a similar classification accuracy of the visual classifier even when trained on a fully synthetic skin disease dataset. Similar to recent applications of generative models, our study suggests that diffusion models are indeed effective in generating high-quality skin images that do not sacrifice the classifier performance, and can improve the augmentation of training datasets after curation.

Zaznavanje oslonilnih točk aortne zaklopke v CT slikah s postopkom globokega učenja

“…generativne nasprotniške mreže (ang. generative adversarial networks) (Dewi et al, 2022) in difuzijski modeli (Pinaya et al, 2022;Akrout et al, 2023) v nasprotju z obdobjem pred tem, ko se je večino sintetičnih slik ustvarilo s programi za grafično upodabljanje. Večina metod (Li et al, 2019) uporablja sintetične slike kot podaljšek učne množice, ki je sestavljena samo iz resničnih slik, nekaj pa jih zgradi celotno učno množico iz sintetičnih slik (Mayershofer et al, 2021;Mayer et al, 2016) in nato naredi premik domene z uporabo resničnih slik za doučenje (Wang et al, 2019;Richter et al, 2016) nevronske mreže.…”

Strojni vid, ključna omogočitvena tehnologija v inteligentnih senzorjih podjetja sick

“…generativne nasprotniške mreže (ang. generative adversarial networks) (Dewi et al, 2022) in difuzijski modeli (Pinaya et al, 2022;Akrout et al, 2023) v nasprotju z obdobjem pred tem, ko se je večino sintetičnih slik ustvarilo s programi za grafično upodabljanje. Večina metod (Li et al, 2019) uporablja sintetične slike kot podaljšek učne množice, ki je sestavljena samo iz resničnih slik, nekaj pa jih zgradi celotno učno množico iz sintetičnih slik (Mayershofer et al, 2021;Mayer et al, 2016) in nato naredi premik domene z uporabo resničnih slik za doučenje (Wang et al, 2019;Richter et al, 2016) nevronske mreže.…”

Agricultural Field Delineation Using Satellite Imagery

“…generativne nasprotniške mreže (ang. generative adversarial networks) (Dewi et al, 2022) in difuzijski modeli (Pinaya et al, 2022;Akrout et al, 2023) v nasprotju z obdobjem pred tem, ko se je večino sintetičnih slik ustvarilo s programi za grafično upodabljanje. Večina metod (Li et al, 2019) uporablja sintetične slike kot podaljšek učne množice, ki je sestavljena samo iz resničnih slik, nekaj pa jih zgradi celotno učno množico iz sintetičnih slik (Mayershofer et al, 2021;Mayer et al, 2016) in nato naredi premik domene z uporabo resničnih slik za doučenje (Wang et al, 2019;Richter et al, 2016) nevronske mreže.…”