需要处理的图像像素过多与芯片算力不足的矛盾,已经成为了当前制约自动驾驶发展的瓶颈之一。
为了解决上述问题,事件相机与脉冲神经网络的结合或许会是一个可行的解决方案。
卷积神经网络是目前图像目标检测算法的重要手段。以ResNet-152为例,一个152层的卷积神经网络,处理一张224*224大小的图像所需的计算量大约是226亿次,如果这个网络要处理一个1080P的30帧的摄像头,那么它所需要的计算量将高达每秒33万亿次,十分庞大。
以当前典型的百度的无人车为例,计算平台约为800TOPS,其中1TOPS代表处理器可以每秒钟进行一万亿次操作。
假设一个摄像头所需要的算力为33TOPS,更遑论无人车动辄配置十余个摄像头,以及多个激光雷达和毫米波雷达。
为了准确检测行人并预测其路径,芯片往往需要多帧处理,至少是10帧,也就是330毫秒。这意味着相关系统可能需要数百毫秒才能实现有效探测,而对于一辆以60公里每小时行进中的车辆来说,330毫秒的时间就能行驶5.61米。
如果为了保证足够的安全,将帧数增加到每秒30帧,图像数据很可能让自动驾驶芯片不堪重负。
针对算力不足的问题,提高算力是业内玩家最容易想到的方法。然而,目前芯片的制程正在不断压缩,在极小尺寸下,量子遂穿效应逐渐显著,摩尔定律逐渐失效,芯片算力的提升也在面临巨大挑战。
同时,算力的提高也伴随着功耗的提高,但在新能源的大背景下,分配给芯片的能量越多,续航能力就会受到越大的影响。
算力与能耗正在逐渐成为自动驾驶发展的一对矛盾。
那么我们能不能另辟蹊径呢?仿生学也许能给我们带来新的思路。
对于人类来讲,在静止的画面中注意到运动物体并不难。对于青蛙来说,它甚至只能看到运动的物体,对静止的背景画面视而不见。
针对生物这一特性,研究者们设计出一种事件相机。
传统相机以固定帧率重复扫描整个场景,无论场景中是否有目标活动,均忠实的输出由一帧帧图片组成的视频流。毫无疑问,这种连续的视频流存在高度的信息冗余,大量无用的背景图片也被送入卷积神经网络进行运算。
事件相机则不同,事件相机仅记录亮度“变化”的像素点。
传统帧相机与事件相机输出的效果对比如下图所示,即传统的帧相机输出为整个视场的全部信息(左图),而事件相机只捕捉场景中运动的手臂,如(右图)所示。
基于重点关注运动目标这一特点,事件相机也许能在自动驾驶领域大展身手。
由于事件相机剔除了静止的背景图片,所以每帧产生的数据量大大减少,达到几十kb的级别。
相对于传统相机,事件相机还有高帧率、低功耗、高动态范围等优点:
下面两张图展现了事件相机的关注运动物体和高动态范围的特性。传统相机在光线较暗的情况下,难以辨识图片中右边的行人。然而事件相机却能够十分清晰的捕捉到右边的行人,并同时滤出图像右下静止的车辆信息。
传统相机
事件相机
在自动驾驶领域,事件相机相对于传统相机具有巨大的优势,不过需要注意的是,事件相机无法提取出距离信息,需要激光雷达配合判断目标距离。
或许会有人感到疑惑:事件相机这么好,为什么没有大量应用在自动驾驶领域呢?
实际上,相机获取信息仅仅是第一步,后续事件相机信息的处理则是更为关键的一环。
如下图所示,传统相机的输出是一帧帧的静止图片,而事件相机则是一个个事件(Event)流。
一般来说,目前的神经网络都专注于如何提取每帧静止图片中的行人、汽车等目标,如YOLO,resnet等算法。针对基于时间戳的事件流,目前尚无有效的算法进行目标识别。
而事件流处理算法的缺失,与当前的神经网络结构是分不开的。
当前主流的神经网络被称为第二代人工神经网络,以精确的浮点运算为基础,缺失了在自然界中最重要的一个因素:时间。对于神经网络而言,输出的结果会和输入一一对应,任何时候输入相同的图片,神经网络都会输出一样的结果。
然而真实的大脑,是以这种浮点运算为基础的吗?显然不是,真实的大脑是以脉冲为基础的,以脉冲传递和处理信息。
这种以脉冲传递为基础的神经网络是脉冲神经网络(spiking neural network,SNN),被誉为第三代人工神经网络。基于脉冲神经网络结构设计的芯片也被称为类脑芯片。
脉冲发生的时刻携带着重要信息,脉冲神经网络天然具备对时序信息处理的能力,这与事件相机基于时间戳的事件流输出十分吻合。
此外,脉冲神经网络还具有事件驱动、异步运算、极低功耗等特性。
总的来说,事件相机和脉冲神经网络的结合,正如人类用眼睛和大脑观察四周:自动忽略周围静止的事物,对突然出现的运动物体予以重点关注和运算。
当前学术界已经掀起了对脉冲神经网络研究的热潮,但由于神经态硬件的发展正处于起步阶段,并且人们对于大脑的工作机理认识还不够全面,目前尚无基于脉冲神经网络在商业上的应用。
随着人们对大脑认识的深入,以及国外的TrueNorth、SpiNNaker、Loihi和国内清华的天机芯(Tianjic)和浙大的达尔文等类脑芯片的研发。我们也期待,事件相机与脉冲神经网络的结合能够给自动驾驶行业带来新的突破。
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://www.jmbhsh.com/yulebagua/34019.html