MIT 开发ShadowCam帮助无人驾驶汽车看见拐角盲区

麻省理工学院的工程师开发了一种用于自动驾驶汽车的系统，该系统可以感应到地面阴影的微小变化，以确定拐角处是否有移动物体，例如何时有另一辆汽车从停车场的支柱后面驶来。| 来源：麻省理工学院

当我们驾驶在地下停车场或者其他光线不够明亮的地方，对于从建筑拐角驶过来的汽车都不具有灵敏的感知，而这对于无人驾驶汽车来说，也是一个盲区。

为了提高自主系统的安全性，麻省理工学院的工程师开发了一种系统ShadowCam，该系统可以感知地面阴影的微小变化，从而确定拐角处是否有移动物体。这个项目是由丰田汽车研究所资助的。

相信不久后的一天，自动驾驶汽车可以使用该系统来避免与另一辆汽车或行人从建筑物拐角处或停放的汽车之间出现的潜在碰撞。将来，该系统可以用在医院走廊上导航以制作药物或运送物品避免相互碰撞。

研究人员在国际智能机器人和系统国际会议（IROS）上发表的一篇论文（PDF）中，描述了在停车场周围驾驶自动驾驶汽车和在走廊上导航自动轮椅的成功实验。当感应并停下驶近的车辆时，这种基于汽车的系统比传统的雷达（后者只能检测可见物体）快了不止半秒。

也许这看起来似乎没有快多少，但是在快速移动的自动驾驶汽车上这个速度是惊人的。

计算机科学与人工智能实验室（CSAIL）主任兼安德鲁和电机工程与计算机科学教授恩纳·维特比（Andrew and Erna Viterbi）补充说，“对于机器人在周围有其他移动物体或人的环境中移动的应用程序，我们的方法可以向机器人发出预警，提醒有人即将来临，因此车辆可以减速，调整路径并提前做好准备，以避免碰撞，最理想的状态是为在街上快速行驶的车辆提供各种‘X射线视觉’。”

当前，该系统仅在室内设置中进行了测试。在室内，机器人的速度要低得多，光照条件也更加一致，这使得系统更容易检测和分析阴影。

ShadowCam技术解析

ShadowCam系统使用计算机视觉技术来检测和分类地面阴影的变化。麻省理工学院的教授威廉·弗里曼（William Freeman）和安东尼奥·托拉尔巴（Antonio Torralba）合作开发了该系统的早期版本，该版本在2017年和2018年的会议上进行了介绍。

对于输入，ShadowCam使用来自摄像机的视频帧序列，这些摄像机针对特定区域，例如拐角处的地板。它可以检测不同图像之间光强度随时间的变化，这可能表明某些物体在移开或靠近。这些更改中的某些更改可能很难检测到，或者用肉眼看不见，并随着环境的变化而变化。ShadowCam计算该信息，并将每个图像分类为包含静止的对象或动态的运动对象。如果它变成动态图像，它会做出相应的反应。

使ShadowCam适应自动驾驶汽车需要一些进步。例如，早期版本依赖于用称为“ AprilTags”的增强现实标签来衬砌区域，该标签类似于简化的QR码。机器人扫描AprilTags来检测和计算相对于标签的精确3D位置和方向。ShadowCam将标签用作环境的特征，以在可能包含阴影的特定像素补丁上归零。但是，使用AprilTags修改现实环境是不切实际的。

研究人员开发了一种结合了图像配准和新的视觉测距技术的新颖方法。图像配准通常在计算机视觉中使用，本质上会覆盖多个图像，以揭示图像中的变化。例如，医学图像配准与医学扫描重叠，以比较和分析解剖差异。

火星漫游者使用的视觉测距法通过分析图像序列中的姿势和几何形状来实时估算相机的运动。研究人员专门采用“直接稀疏测距法”（DSO），它可以在类似于AprilTags捕获的环境中计算特征点。本质上，DSO在3D点云上绘制环境的特征，计算机视觉管道仅选择位于感兴趣区域（例如拐角处的地板）的特征。

由于ShadowCam会获取感兴趣区域的输入图像序列，因此它使用DSO图像配准方法来覆盖机器人同一视点上的所有图像。即使机器人在移动，它也可以将阴影精确定位在相同的像素点上，以帮助检测图像之间的细微偏差。

接下来是信号放大，这是第一篇论文中介绍的技术。可能包含阴影的像素的颜色增强，从而降低了信噪比。这使得来自阴影变化的极其微弱的信号更容易被检测到。如果增强后的信号达到某个阈值（部分基于其与附近其他阴影的偏离程度），ShadowCam会将图像分类为“动态”。根据该信号的强度，系统可能会告诉机器人减速或停止。

“检测到该信号，你可能要小心。”纳瑟说：“这可能是某些人从拐角处跑来跑去的阴影或停着的汽车，因此自动驾驶汽车会减速或完全停止。”

ShadowCam模拟夜间驾驶

在一项测试中，研究人员使用AprilTags和新的基于DSO的方法评估了系统在对移动或静止物体进行分类方面的性能。当人类将拐角变成轮椅的路径时，自动轮椅转向各个走廊的拐角。两种方法均达到了70％的相同分类精度，这表明不再需要AprilTags。

在一项单独的测试中，研究人员在停车场的自动驾驶汽车中安装了ShadowCam，该汽车的前大灯被关闭，以此模拟夜间驾驶条件。他们将汽车检测时间与LiDAR进行了比较。在一个示例场景中，ShadowCam检测到汽车绕柱转弯的速度比LiDAR快0.72秒。此外，由于研究人员已针对ShadowCam专门针对车库的照明条件进行了调整，因此该系统的分类精度约为86％。

接下来，研究人员正在进一步开发该系统，以在不同的室内和室外照明条件下工作。将来，可能还会有一些方法可以加快系统的阴影检测速度，并自动为阴影感应标注目标区域的过程。