Computationally efficient, real-time motion recognition based on bio-inspired visual and cognitive processing

The impact of on-chip communication on memory technologies for neuromorphic systems

“…The discipline originated with the goal of constructing silicon models of Biological neurons and synapses, based on the observation that the basic Physics governing the flow of current across a semiconductor junction and Biological "junction" in an ion channel were the same [1]. Early papers in the field include the design of silicon models of the retina and cochlea, with analog CMOS circuits emulating Biological circuits discovered through anatomical studies [2][3][4][5][6].…”

Privacy Protection of Sensitive Bioinformation Based on Event Cameras

“…究 [51,52] 。采用浅层神经网络提取空间金字塔核特征， 也可进行手部运动识别 [52] 。为了更好地保持基于事 件序列数据的时空关系，采用半字符级循环神经网 络 [56] 将卷积运算、循环连接结合起来。 随着深度学习的发展，探索深度学习在手势识 别方向的潜力成为研究热点。不同的输入形式对应 于不同的特征提取网络。事件流上时空去马赛克的 超分辨率技术是首个基于深度学习的手势识别方 法 [57] ，在不使用远距离小尺寸训练图像的情况下， 能够提高对远距离小尺寸图像的识别性能；然而， 由于采用了积累事件流的处理方式，神经形态视觉 传感器的异步特性被削弱。 事件流数据还可视为时空中的一组 3D 点云。 在分层分析时空事件云时，端到端地应用点云网 络、增强的点云网络 [58] ，可将识别手势转化为识别 手势的几何分布。应用滚动缓冲机制也可实现低延 迟。然而，点云网络、增强的点云网络都是基于单 点云计算的工作，在计算点特征时并没有充分考虑 相邻事件的信息。为此，改进动态图 CNN，将相邻 事件的信息嵌入到每个点中以充分利用局部结构， 可以学习时空几何及形状信息 [59] 。 鉴于事件流的序列性质，探索新的序列表示方 法较为关键。其中，使用混合密度自动编码器可以 保持原始事件数据的特性，同时依靠循环神经网络 (RNN) -HMM 混合可以很好地处理连续手势识别问 题 [60] 。考虑到传统视觉应用中较多采用转换器，在 事件转换器 [61] 中引入紧凑的类转换架构来利用事件 数据的局部特征，从而高效处理事件数据的稀疏 性，也可获得更准确的结果。除了网络架构层面的 研究，还可从其他角度开发基于事件流的手势识别 功能。基于神经突触处理器的手势识别系统 [62] 能够 实时且低功耗地完成端到端手势识别。引入了基于 事件流的安卓框架 [63] 习这一新型 SNN 算法的性能 [65] 。构建的 DVS_Sign 数据集 [66] ，包含了 5 个类别词性的 600 个训练手语 词汇。 针对孤立 SLR 的有效采样策略 [67] 可避免片段随 欠) ，提取了与睡意相关的动态特征 [71] ；提出了多 个基于深度传感器记录的数据集，分别用于驾驶员 的睡意检测、注视区域估计、手势识别 [72] 。 驾驶员监控系统由多个相互关联的任务构成， 为此引入多任务框架以深入研究分心驾驶。门控循 环 YOLO 技术 [73] 能够自适应调整帧率，实时检测并 追踪驾驶员的面部及眼睛。眨眼是人类行为和状态 的重要指标之一，分析眨眼模式细节的新方法可识 别眨眼产生的异常事件峰值。先定位并跟踪面部及 眼睛，后同步估计头部姿势、眼睛注视、面部遮 挡，形成了更进一步的两阶段的研究架构 [74] 。自适 应体素分割网格 [75] 将包含可变数量的事件流编码为 体素网格序列，再将体素网格序列输入长短期记忆 网络(LSTM)中，据此建立可检测驾驶员分心的 时间模型。 为了适应计算资源受限的移动平台，使用轻量 级平移不变主干网络来提取多尺度特征，可实现驾 驶员面部的单次检测 [76] 。对特征图金字塔网络、上…”