Synthetic Medical Images Using F&BGAN for Improved Lung Nodules Classification by Multi-Scale VGG16

Abstract

Lung cancer is one of the highest causes of cancer-related death in both men and women. Therefore, various diagnostic methods for lung nodules classification have been proposed to implement the early detection. Due to the limited amount and diversity of samples, these methods encounter some bottlenecks. In this paper, we intend to develop a method to enlarge the dataset and enhance the performance of pulmonary nodules classification. We propose a data augmentation method based on generative adversarial network (GAN), called Forward and Backward GAN (F&BGAN), which can generate high-quality synthetic medical images. F&BGAN has two stages, Forward GAN (FGAN) generates diverse images, and Backward GAN (BGAN) is used to improve the quality of images. Besides, a hierarchical learning framework, multi-scale VGG16 (M-VGG16) network, is proposed to extract discriminative features from alternating stacked layers. The methodology was evaluated on the Lung Image Database Consortium and Image Database Resource Initiative (LIDC-IDRI) dataset, with the best accuracy of 95.24%, sensitivity of 98.67%, specificity of 92.47% and area under ROC curve (AUROC) of 0.980. Experimental results demonstrate the feasibility of F&BGAN in generating medical images and the effectiveness of M-VGG16 in classifying malignant and benign nodules.

Hand Gesture Recognition Based on Single-Shot Multibox Detector Deep Learning

“…To increase the efficiency, we simplify the process into two steps by using the SSD network. More precisely, we just need a convolutional neural network such as VGG16 [29] as a model system to identify the gesture features and then proceed with hand segmentation and gesture classification simultaneously by the SSD network.…”

Generative adversarial networks: a renewal for data augmentation in lung nodule classification

“…Já Onishi et al [9] e Zhao et al [10], a proximidadeé mais tangível. Onishi et al [9] utiliza uma Wasserstein GAN (WGAN) para gerar cortes de imagens sintéticas de nódulos de CT usadas para pré-treinamento de uma CNN profunda que classifica nódulos pulmonares e tendo o ajuste fino feito com as imagens originais dos nódulos.…”

“…Essa abordagem gerou um ganho de quase 30% naárea sobre a curva ROC em relação ao caso sem pré-treinamento [9]. Zhao et al [10] utiliza sua própria abordagem: a Forward and Backward GAN (F&BGAN). O modelo proposto pelos autores gera cortes de imagens de CT de nódulos malignos e benignos demonstrando a capacidade das imagens sintéticas na melhora da performance de uma classificador M-VGG16.…”

“…Cada base e algumas combinações entre si foram utilizadas no treinamento para um classificador de nódulos M-VGG16. Foi obtido um total de 0,954 deárea sobre a curva ROC com a utilização de aumento de base clássico, com o aumento feito apenas pela Forward GAN o valor foi superior,chegando a 0,966 [10].…”

“…Ainda, gerar imagens médicasé um processo custoso e a depender do exame, submete o paciente a altas doses de radiação e a procedimentos invasivos. Além disso, as imagens precisam ser diagnosticadas por profissionais bem treinados, atividade laboriosa e que demanda muito tempo do especialista [8][9] [10]. Portanto, a construção de grandes bases de imagens médicas estruturadas, bem validadas e abrangentes,é um dos maiores desafios das aplicações de DP no auxílio computadorizado ao diagnóstico em imagens médicas, visto que, pequenas bases de dados podem gerar modelos pouco heterogênicos, levando a resultados enviesados [11].…”