返回首页 hi, 欢迎来到机器人在线 请登录/ 免费注册 订阅邮件
有疑问,咨询在线客服

服务于机器视觉的传感和成像研究方向

时间:2019-11-07 来源:机器人在线 阅读:476

机器视觉与多频谱的图像融合



这个世界的频谱很宽很宽,频段从10的-14次方到10的-4次方,而人可见的波段实际上只用了400到800纳米。世界上任何物体在发射波也在反射波,波段非常丰富,人类却只能看到的是很少的波段。传感器也是做了很小的一个波段,有没有办法识别一只狗,除了可见的东西,还有没有不可见的东西?比如在红外光线下,在近波红外光线下,在远波红外光线下是否可以看到我们看不到的东西。


人在在黑夜没有任何可见光的情况下,视觉是失灵的,但是机器是可以看到的,因为机器可以感知其他波段,如机器可以感知长波红外(平时说的热成像),只要物体还在散发热量,如看的是狗,这只狗还是活着的,就会对外散发热量,长波红外就可以感知到这只狗,这就是机器视觉有超过人类视觉的潜力所在,因为机器感知的频段比人类要宽的多。


是否可以做一个全频谱的传感器?就像在本文的其他系列文章中提到的,和rggb阵列一样,做全频谱的覆盖。现在还不行,传感器是基于光电效应工作,不存在一种金属材料可以对所有频段的波产生光电效应,只能针对某一个波段传感器采用某种金属底片进行光电效应,业内采用比较多的如上图示例中rgb是visible波段的波,也坑是短波红外的波,也可能是长波红外。


机器和长中短红外波融合的好处和问题,如:


l 近波红外(near infrared【nir】)


nir已经应用在自动驾驶中人脸识别或则驾驶员监控,nir很好的特性是在传统的cmos传感器不需要做大的更迭,传统cmos下的硅底就是金属底片本身就对nir产生光电效用,只要改掉上面的CFA(color filter array),它的缺点是依赖物体反光,清晰度差。


l Short wave infrared(swir)短波红外


解决提高近波红外清晰度和光电效应比较弱的问题,可以用短波红外(swir)。但是swir的缺点,一是金属底片很难制备,成本也高,低光效果很好,二是法律问题,因为大量的short wave infrared是军事应用。例如导弹,高频率夜视工具等都是用的swir。在民用领域,如无人驾驶还不能使用短波红外。


l middle infrared(mwir)中波红外


中波红外受到法律限制少,因为中波红外有明确的工业用途,对针对工业漏气检测,如天然气泄露等某种有害气体泄漏。中波红外还可以隔着金属检测是否存在化工液体。中波红外在工业领域应用很多,但是在无人驾驶中应用不多,因为无人驾驶车只会检测前方是否存在金属障碍物,而不是检测金属障碍物后面是否有有毒液体或者气体。


l Long wave infrared(lwir)长波红外


他就是热成像,lwir不需要外来的光照,只要物体本身发热就可以成像。它的缺点,一是受到法律法规限制,不管是美国中国都有出口限制,都有技术壁垒,暂时民用有困难,长波红外在美国的限制是只要大于9赫兹,长波红外的成像工具都不能出口,二是噪音很大,要想把lwir做好,成本极高,难度极大。


有着么多难点,那如何做呢?当前已经有人在做,安森美在做rgbir传感器,它把里面的一个bayer patent,把一个r的patent,一个g的patent,变成I patent,它就可以白天用rgb,晚上用ir,就做到了全工况都可以使用。


服务于机器视觉的传感和成像研究方向


l 打破传感器感性指标


现在的传感器的线性指标很重要,如图:



但是我们未必需要传感器发出的电压和光照强度成正比。如果你希望将feature map kernel化,只要针对感兴趣的那部分,discrimination高就好了,我们能不能设置一种传感器不需要显性,而是有kernel特征化,它的线可以是弯弯曲曲,因为它对识别效果非常好。


l 基于端到端的机器学习方法


完全跳过isp,不基于人的视觉标准,就是输入一个14bit的原图,通过网络就可以输入识别结果,完全跳过isp。


l 多传感器,多频谱融合


全频段感知


l 制定给予视觉的图像质量标准


现在已经有了人的视觉质量标准,是否制定一套针对机器的视觉质量标准。我们找了很久,现在看暂时没有。在欧洲有一些零散的标准,但还不是完全服务机器视觉方向的。如果有一套服务于机器的识别,分类,那我们会省去传统传感器,isp厂商的很多工作。甚至说没有isp厂商的工作,就剩下传感器的工作。

好的文章,需要您的鼓励

8

  • 最新文章
  • 精品案例
  • 现货产品
延伸阅读 热门要闻