Multi-focus image fusion with a deep convolutional neural network

Liu, Yu; Chen, Xun; Peng, Hu; Wang, Zengfu

doi:10.1016/j.inffus.2016.12.001

Cited by 980 publications

(586 citation statements)

References 50 publications

Supporting

Mentioning

580

Contrasting

Unclassified

Order By: Relevance

“…The learning rate is equal for all layers and is initialized as 0.0001 as Ref. [3]. According to the design of the network described above, the process of the black arrow in Fig.…”

Section: Convolutional Neural Network For Exposure Fusionmentioning

confidence: 99%

See 1 more Smart Citation

End-to-End Exposure Fusion Using Convolutional Neural Network

Wang

et al. 2018

IEICE Trans. Inf. & Syst.

View full text Add to dashboard Cite

SUMMARYIn this paper, we describe the direct learning of an end-toend mapping between under-/over-exposed images and well-exposed images. The mapping is represented as a deep convolutional neural network (CNN) that takes multiple-exposure images as input and outputs a highquality image. Our CNN has a lightweight structure, yet gives state-ofthe-art fusion quality. Furthermore, we know that for a given pixel, the influence of the surrounding pixels gradually increases as the distance decreases. If the only pixels considered are those in the convolution kernel neighborhood, the final result will be affected. To overcome this problem, the size of the convolution kernel is often increased. However, this also increases the complexity of the network (too many parameters) and the training time. In this paper, we present a method in which a number of sub-images of the source image are obtained using the same CNN model, providing more neighborhood information for the convolution operation. Experimental results demonstrate that the proposed method achieves better performance in terms of both objective evaluation and visual quality. key words: exposure fusion, convolutional neural networks, fusion rule, activity level measurement

show abstract

“…The learning rate is equal for all layers and is initialized as 0.0001 as Ref. [3]. According to the design of the network described above, the process of the black arrow in Fig.…”

Section: Convolutional Neural Network For Exposure Fusionmentioning

confidence: 99%

“…In the field of multi-exposure fusion, convolutional neural networks (CNNs) can be used to determine both the activity level measurement and fusion rule [3]. The framework shown in Fig.…”

Section: Introductionmentioning

confidence: 99%

End-to-End Exposure Fusion Using Convolutional Neural Network

Wang

et al. 2018

IEICE Trans. Inf. & Syst.

View full text Add to dashboard Cite

show abstract

“…B.Rajalingam, Dr. R.Priya [3] proposed a novel neuro-fuzzy hybrid multimodal medical image fusion technique to improve the quality of fused multimodality medical image. Yu Liu, Xun Chen, et al [4] proposes the medical image fusion method based on convolutional neural networks (CNNs).Yu Liu, Xun Chen, et al [5] propose the new multi-focus image fusion method based on deep learning approach, aiming to learn a direct mapping between source images and focus map. A deep convolutional neural network (CNN) trained by high-quality image patches and their blurred versions is adopted to encode the mapping.…”

Section: Related Workmentioning

confidence: 99%

Multimodal Medical Image Fusion based on Deep Learning Neural Network for Clinical Treatment Analysis

2018

IJCTR

View full text Add to dashboard Cite

:Multimodal medical image fusion technique is one of the most significant and useful disease investigative techniques by deriving the complementary information from different multimodality medical images. This research paper, proposed an efficient multimodal medical image fusion approach based on deep learning convolutional neural networks (CNN) for fusion process. Computed Tomography (CT), Magnetic Resonance Imaging (MRI) and Positran Emission Tomography (PET) are the input multimodality medical images used for the experimental work. In the proposed technique, a siamese convolutional network is adopted to create a weight map which integrates the pixel movement information from two or more multimodality medical images. The medical image fusion process is carried out in a multiscale manner via medical image pyramids to be more reliable with human visual insight. In addition, a local comparison based strategy is applied to adaptively correct the fusion mode for the decomposed coefficients. An experimental result of proposed fusion techniques provides the best fused multimodal medical images of highest quality, shortest processing time and best visualization in both visual quality and objective assessment criteria.

show abstract

“…En dicho trabajo no se reportan los mapas de decisión para las imágenes y los tiempos de ejecución reportados son superiores a 7 minutos. Uno de los trabajos más prominentes en la actualidad es el reportado en (Liu et al, 2017a) donde se obtiene un mapa de decisión inicial al que se aplica una verificación de consistencia para obtener el mapa de decisión final. Los tiempos de ejecución reportados en este trabajo son satisfactorios (Liu et al, 2017a), aunque no superan la calidad de la imagen fusionada reportada en otros trabajos que hemos revisado.…”

Section: Trabajos Basados En Mapas De Decisiónunclassified

“…Uno de los trabajos más prominentes en la actualidad es el reportado en (Liu et al, 2017a) donde se obtiene un mapa de decisión inicial al que se aplica una verificación de consistencia para obtener el mapa de decisión final. Los tiempos de ejecución reportados en este trabajo son satisfactorios (Liu et al, 2017a), aunque no superan la calidad de la imagen fusionada reportada en otros trabajos que hemos revisado. En (Liu et al, 2017b) se realiza un proceso de descomposición de la imagen para encontrar las regiones enfocadas y realizar la fusión, sin embargo, los tiempos de ejecución son superiores a 19 segundos para las imágenes reportadas.…”

Section: Trabajos Basados En Mapas De Decisiónunclassified

Fusión de Imágenes Multi-Foco con Ventanas Variables

Calderón

Garnica-Carrillo

Flores

2018

Rev. iberoam. autom. inform. ind.

View full text Add to dashboard Cite

ResumenEn este artículo presentamos el Algoritmo Combinación Lineal de Imágenes con Ventanas Variables (CLI-VV) para la fusión de imágenes multi-foco. A diferencia del Algoritmo CLI-S presentado en un trabajo anterior, el algoritmo CLI-VV permite determinar automáticamente el tamañoóptimo de la ventana en cada píxel para la segmentación de las regiones con la mayor nitidez. También presentamos la generalizado el Algoritmo CLI-VV para la fusión de conjuntos de imágenes multi-foco con más de dos imágenes. A este nuevo algoritmo lo denominamos Fusión Multi-foco con Ventanas Variables (FM-VV). El Algoritmo CLI-VV se probó con 21 pares de imágenes sintéticas y 29 pares de imágenes multi-foco reales, y el Algoritmo FM-VV sobre 5 tríos de imáge-nes multi-foco. En todos los ejemplos se obtuvo un porcentaje de acierto competitivos, producidos en tiempos de ejecución menores a los reportados en la literatura. Palabras Clave: Fusión de imágenes multi-foco, Ventanas deslizantes, Imágenes integrales Multi Focus Image Fusion with variable size windows AbstractIn this paper we present the Linear Image Combination Algorithm with Variable Windows (CLI-VV) for the fusion of multifocus images. Unlike the CLI-S algorithm presented in a previous work, the CLI-VV algorithm allows to automatically determine the optimal size of the window in each pixel for the segmentation of the regions with the highest sharpness. We also present the generalized CLI-VV Algorithm for the fusion of sets of multi-focus images with more than two images. This new algorithm is called Variable Windows Multi-focus Fusion (FM-VV). The CLI-VV Algorithm was tested with 21 pairs of synthetic images and 29 pairs of real multi-focus images, and the FM-VV Algorithm on 5 trios of multi-focus images. In all the tests a competitive accuracy was obtained, with execution times lower than those reported in the literature. Keywords:Multi-focus image fusion, Sliding windows, Incremental images. IntroducciónHay muchas aplicaciones en las que se involucran imáge-nes, por ejemplo, en sistemas de seguridad, en fotografía, en apoyo al diagnóstico con imágenes médicas, en imágenes satelitales y en algunos ambientes de investigación. En ellas es deseable que las imágenes obtenidas tengan suficiente claridad o nitidez en todos los objetos de la escena. Sin embargo, lo anterior no siempre es posible pues el rango de distancias medidos desde la lente hasta los objetos que se desean capturar no es constante y las cámaras, microscopios y otros objetos que usan lentes para la captura de las imágenes, tienen limitaciones físicas que impiden que todos los objetos de la escena tengan la misma claridad en la imagen digital generada. A dicha limitación se le conoce como profundidad de campo, término que hace referencia al rango de distancias que la lente de una cáma-ra, con una apertura dada, es capaz de reproducir de manera nítida (Kuthirummal et al., 2011).En términos ideales, la luz reflejada por cada punto de la escena debería incidir sobre unúnico punto en el sensor de la cámara, sin em...

show abstract

Multi-focus image fusion with a deep convolutional neural network

Cited by 980 publications

References 50 publications

End-to-End Exposure Fusion Using Convolutional Neural Network

End-to-End Exposure Fusion Using Convolutional Neural Network

Multimodal Medical Image Fusion based on Deep Learning Neural Network for Clinical Treatment Analysis

Fusión de Imágenes Multi-Foco con Ventanas Variables

Contact Info

Product

Resources

About