Large-scale Exploration of Neuronal Morphologies Using Deep Learning and Augmented Reality

Abstract

Recently released large-scale neuron morphological data has greatly facilitated the research in neuroinformatics. However, the sheer volume and complexity of these data pose significant challenges for efficient and accurate neuron exploration. In this paper, we propose an effective retrieval framework to address these problems, based on frontier techniques of deep learning and binary coding. For the first time, we develop a deep learning based feature representation method for the neuron morphological data, where the 3D neurons are first projected into binary images and then learned features using an unsupervised deep neural network, i.e., stacked convolutional autoencoders (SCAEs). The deep features are subsequently fused with the hand-crafted features for more accurate representation. Considering the exhaustive search is usually very time-consuming in large-scale databases, we employ a novel binary coding method to compress feature vectors into short binary codes. Our framework is validated on a public data set including 58,000 neurons, showing promising retrieval precision and efficiency compared with state-of-the-art methods. In addition, we develop a novel neuron visualization program based on the techniques of augmented reality (AR), which can help users take a deep exploration of neuron morphologies in an interactive and immersive manner.

基于三维深度神经网络的大规模神经元形态表征与检索方法

“…uPNs [10] 满足了量化评估检索与当前神经元 最相似神经元的准确率这一需求, 通过深度学习和降维方法在总体 99294 个神经元中提取特征后, 将 : [10] 上的 top-N 平均精度, 与本文方法的精度进行比较, 以验证本文方法在三维 神经元数据相似检索上的准确性. 已有主要方法分为三组特征计算方式: 仅通过无监督深度学习网络 如 Deep-SCAE [5] 提取的特征; 仅通过 L-Measure [9] 得到的神经元手工特征如 L-Measure38 [9] ; 将无监督 深度学习网络的特征和手工 L-Measure38 [9] 维度特征归一化后融合的特征 SCAE-Fuse [5] . 本文的方法 基于三维体素卷积自动编码解码器 (Deep-3DVCAE), 获取到神经元的深度学习表达特征, 将深度学习 的特征通过 PCA [12] 方法降维到 200 维, 测定 top-1 至 top-50 的神经元检测精度, 并同上 3 种方法的 精度比较, 发现本文方法的准确率普遍高于以上方法, 证明了本文方法的准确性.…”

“…本文对比的主要方法有: 1) Deep-SCAE [5] , 堆叠卷积自动编码器. 2018 年 Li 等 [5,20] 建立了第一 个基于深度神经网络的神经元形态学量化表征方法, 用于将神经元形态三维数据投影为三个平面上的 图像数据, 并与 SCAE [11] 结合训练获得神经元深度特征, 但是其与 38 维的 L-Measure [9] 手工特征相 比, 从 uPNs [10] 的欧氏距离测定 top-1、top-10、top-20 到 top-50 上表现均差于手工特征.…”

“…L-Measure 是应用最广泛的神经元特征测量 软件, 可以从神经元长宽高及轴突树突数量等不同方面测定神经元三维形态及其特征. 2016 年 Conjeti 等人 [21,22] 使用 38 维测量方式应用于复杂神经元分析工作来研究神经元形态学, 取得了一定进展, 其 38 维的软件手工特征表现明显优于 Deep-SCAE [5] .…”

“…3) SCAE-Fuse [20] , 即通过特征层面的归一化融合方式将 Deep-SCAE [5] 与 L-Measure38 [9] 融合为 新的更有表达力的特征. 该特征可以更好地检索 233 个标记神经元即 uPNs [10] , 证明了 Deep-SCAE [5] 与 L-Measure38 [9] 特征存在的互相弥补缺陷的性质, 更有益于神经元形态检索精度的提高.…”

“…2015 年 Wan 等人 [10] 设计了一种名为 BlastNeuron 的神经元比较和聚类软件, 根据 神经元全局形态和树形拓扑完成比较和聚类. 2018 年 Li 等人 [5] 将三维神经元投影至正侧俯三个面, 形成三张二维图, 使用 SCAE [11] 训练后截取编码器部分的输出作为神经元的特征, 进行相似神经元匹 配, 得到较高准确率, 但是由于采用了三维投影方式, 在这一过程中存在着数据信息损失的问题. 以上 都是对神经元重建与检索、形态对比等方面的研究, 神经元形态学发展越来越多地与新技术相结合产 生更优秀的研究成果.…”