最新最快科技资讯
太阳能光伏网

神经拟态视觉传感器来了!手机和车都能用,李开复雷军纷纷投资

博雯发自凹非寺

量子位报道|公众号QbitAI

机器会怎样来看世界?

通过帧。

传统的图像传感器会通过每秒捕获多张静止图像来记录场景运动。

如果将这一系列图像通过足够快的速度连续展示,人类视觉就能产生“这是连续运动”的错觉。

但对于计算机来说,无论是多快的速率,帧与帧之间总会丢失某些运动信息。

那么,有没有办法让机器连续地“看”到运动场景或事件呢?

今天就来看看普诺飞思(Prophesee)公司给出的“神经拟态机器眼”。

来自人眼的启发

要了解这个“机器眼”,首先得看看它模仿的源头:

人眼。

我们是如何通过人眼来看世界的呢?

当眼睛中的视觉细胞感测到场景变化――即发生了某个事件时,它就会将相关信息通过视神经传到大脑皮层。

而收集到的数据也是持续的,是以事件为基础的。

因此,普诺飞思的研究者们以人眼为启发,提出了基于事件的视觉感知技术。

和传统图像传感器不同,在基于这种技术的传感器中,每个像素都是异步且独立的。

因此,图像信息并不是逐帧发送,而是通过连续的信息流捕获事件运动:

而如果从事件的角度来考虑,静止和场景并不会带来新的信息。

因此,这种技术也就不关注完全静止的场景:

只有场景中发生某个事件,产生了变化时,传感器才会产生输出:

如果是以帧为单位来获取这种图像信息的变化,那得一张一张固定频率发送,然后一个像素一个像素的比较。

而现在,只关注动态变化,也就剔除了很多冗余信息,减少了处理数据量。

这不仅加快了处理速度,也意味着对算力要求的减弱,成本也就随之降低。

普诺飞思的CEO兼创始人Luca Verre对此表示:

这是来自自然界的完美的解决方案。

现在,普诺飞思已将这种基于事件的视觉技术集成到已有系统中,生产了世界上首个基于事件的视觉传感器。

并且随着更新换代,传感器的性能越来越好,尺寸也越来越小了。

更清晰的拍照,更准确的驾驶

更小,也就意味着离我们的日常生活更近。

比如手机拍摄。

如果在按下快门的几毫秒内被拍对象恰好发生了移动,那么图像的一个点就会变成一条线。

这也就是我们在拍摄很多动态物体时常常产生模糊的原因。

但现在用基于事件的视觉技术,就能够在按快门的这段时间内一直观测这一点的移动,知道它的移动轨迹,再将这条线恢复成点。

此外,这一技术也能提供更大的动态范围,让每一个像素都能按照不同的曝光值来曝光。

这样,即使在非常严苛的光线情景(如室内或夜景)下,拍摄图像也不会得到很大的损失。

然后就是提供更精准的座舱监控技术。

可以看到,这一监控能够追踪驾驶员的目光方向。

不仅如此,连眨眼速度也能监控,这可是传统的监控解决方案做不到的。

这就是普诺飞思联合Xperi开发的全球首个基于神经拟态视觉系统的驾驶员监控解决方案。

还有基于事件的高级驾驶辅助系统,增强了现有的雷达、激光雷达和摄像头系统,能够更快速、准确地理解周围的环境。

通过细胞实时无菌检测实现的下一代细胞疗法,用于减少医疗制品的生产成本:

也有失明患者借助将基因疗法、光刺激医疗设备、以及普诺飞思传感器结合起来的光遗传疗法恢复了部分视力。

除此之外,工业上也有这种传感器的应用:

比如对于一些不能直接接触的大型机械(如高压环境)可以做非接触性的振动检测。

在焊接上也可以做到引导和质检。

这是怎样的一个公司

普诺飞思(Prophesee)是一个7年前在巴黎创立的公司。

这家科技公司致力于神经拟态视觉系统的研发,其基于事件的视觉传感器已应用在摄影、自动驾驶、工业自动化、医疗等多个领域。

公司CEO兼联合创始人Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位。

还曾任丰田汽车公司和Altis半导体公司的工程师。

在7月6日这场发布会上,普诺飞思宣布C轮融资,由创新工场领投、小米及上海韦豪创芯跟投,数家老股东加码。

这也是今年继DeepMind之后,又一家能走进中国视野的欧洲AI创业公司。

创新工场董事长兼CEO李开复博士表示:

普诺飞思在神经拟态视觉领域的先进技术,将为AI和机器视觉技术的发展开创更多的可能性与机会,帮助更多行业实现自动化、安全以及效率方面的提升。

普诺飞思官网:

https://www.prophesee.ai/

本文首发于微信公众号:量子位。文章内容属作者个人观点,不代表和讯网立场。投资者据此操作,风险请自担。

(责任编辑:李显杰)

最新相关
2024年营养健康科学流言榜

2024年营养健康科学流言榜

多吃黑木耳能降血压降血脂?痛风不能吃芦笋?有结石的患者就不能吃豆制品?饭后喝茶"刮刮油"?吃叶酸会致癌?……这些有关营养健康的流言别再信了!

今日辟谣(2024年3月11日)

2024年3月11日  谣言: ​​​广西壮族自治区民族医院发布关于流脑疫苗接种通知?  真相: 近日,一则署名为“广西壮族自治区民族医院”要求接种流...

今日辟谣(2024年3月12日)

谣言: 重庆市秀山县凤凰山公园把原有树木挖了来办植树节?真相: 近日,有网传信息称,重庆市秀山县凤凰山公园“把原有树木挖了办3月12日植树节”。经核实,该信息不实。当地相关部门表...