您当前的位置 :崔寨信息门户网>科技>首个镜子分割网络问世,大连理工、鹏城实验室、香港城大出品

首个镜子分割网络问世,大连理工、鹏城实验室、香港城大出品

2019-11-08 15:43:01   人气:994

甘明来自奥菲神庙

量子位报告

镜子里的人是人吗?对于计算机视觉系统:是的。

大多数系统也没有考虑镜像因素,因此很难清楚地区分镜中人。

镜子作为日常生活中非常重要的物品无处不在。它们不仅能反射光线,还能呈现周围物体或场景的镜像。

这导致计算机视觉系统或机器人一旦遇到带镜子的场景,其性能将会大大降低,这可以说是一个祸害。

我该怎么办?大连理工大学、鹏程实验室和香港城市大学的研究小组提出了一种方法。

他们发表了一篇名为《我的镜子在哪里》的文章?本文已被iccv2019收录。

本文构建了一个大规模的镜像数据集,并提出了一种从输入图像中分割镜像的新方法。

不仅可以准确识别和分割场景中的镜子,还可以消除镜子反射造成的对场景的错误理解,并且可以帮助一些计算机视觉任务(例如深度估计和目标检测)提高鲁棒性。

他们说这是解决镜像分割问题的第一种方法。大量实验表明,该算法的性能优于最先进的检测和分割方法。

未来,他们的目标是检测出现在城市街道上的镜子,这有助于户外视觉任务,如自动驾驶和无人驾驶飞行器导航。

我的镜子在哪里?

对于计算机视觉系统,镜子反射的内容与镜子外的内容(即周围环境)非常相似,很难区分,更不用说镜子与背景的自动分割了。

从这个角度来看,这个系统不如其他系统。大多数人通常能很好地探测到镜子的存在。

向人学习已成为本文的切入点。研究人员观察到,当人们识别镜像中的内容时,他们通常从边界开始观察它的不连续性。

因此,这个问题的直接解决方案是使用低级特征,例如颜色和纹理变化,来检测镜面边界。

但是,如果镜子前面有一个对象,此方法将不起作用,例如:

仅通过检测镜子的边界很难将物体的反射与物体本身分开,并且分割也需要语义含义,即上下文对比信息。

在此基础上,研究者从数据和神经网络两个方面解决了镜像分割问题。

自建数据集

因为这个领域以前没有受到太多关注,所以自然没有可用的数据集。

所以他们自己做了,并创建了数据集msd,其中包含4018对带有镜子和相应手动注释的掩模图像。

其中,3677个来自室内场景,341个来自室外场景,基本涵盖了镜子在生活中经常出现的场景:梳妆台、装饰品、浴室、道路镜、卧室、办公室、花园、街道和停车场。

最后,3063幅图像用于训练,955幅图像用于测试。

我如何找到镜子?

本文提出的mirrornet体系结构以单个图像为输入,通过特征提取网络(fen)提取多层特征。

然后,将最深且语义丰富的特征输入到所提出的上下文对比特征提取(ccfe)模块中,以学习上下文对比特征,并且通过检测出现对比的边界线并使用初始粗糙镜分割图来定位镜。

该镜像分割图用作注意图,以抑制非镜像区域上层的fen特征的特征噪声,使得上层能够集中学习候选镜像区域的区别特征。

通过这种方式,mirrornet逐渐使用上下文对比信息将镜像区域从粗糙细化到精细。最后,对最粗糙的网络输出进行上采样,以获得原始图像分辨率作为输出。

镜子在这里。

自建数据集提出的镜像网有什么影响?

研究者使用相关领域常用的五个度量标准(即语义分割、显著目标检测和阴影检测)来定量评价镜像分割的性能。

比较对象也是目标分割领域的高级模型,如maskrnn、r3net等。

从这些指标来看,mirrornet表现最好。

南北合作

本文来自大连理工大学、鹏程实验室和香港城市大学。这是一项跨越南北的合作。

有两位第一作者,杨鑫和梅海阳。

杨鑫,副教授,博士生导师,大连理工大学计算机学院学科办公室建设副主任。他毕业于吉林大学计算机科学学院,并获得浙江大学计算机科学学院戴维斯分校工程博士学位。他是香港城市大学的博士后研究员。

大连理工大学博士生梅海阳也毕业于大连理工大学。研究兴趣包括图像处理、计算机视觉和深入学习。

梅海阳说,他的团队花了一年半的时间围绕镜子进行研究,找出问题,制作数据集,设计模型和优化模型。iccv2019最终收到了研究结果。

接下来的研究将集中在城市间建筑表面的镜子上,以进一步扩展问题,减轻镜子对各种场景下其他视觉任务的影响,提高应用价值。

最后,梅海阳表示,本次研究的数据集和代码将是开源的,希望广大研究人员能够加入到这个问题的研究中来~

如果您对这项研究感兴趣,请关闭门户:

https://mhaiyang.github.io/iccv2019_mirrornet/index.html

-完毕-

真诚的招聘

量子比特正在北京中关村招聘编辑/记者。期待有才华和热情的学生加入我们!详情请回复qbitai对话界面中的“招聘”一词。

量子位qbitai

跟踪人工智能技术和产品的新发展

贵州11选5投注 快乐十分钟 快乐赛车app 辽宁十一选五投注 极速赛车下注

上一篇:台积电7nm满载 AMD否认7nm处理器产能不足
下一篇:“滚滚”为啥是黑白的?全国首档大熊猫科普音频节目上线

品诗词、猜字谜、拆福袋,公交车厢话中秋
品诗词、猜字谜、拆福袋,公交车厢话中秋

优选新闻

快手老铁,要投资电影了?
快手老铁,要投资电影了?

© Copyright 2018-2019 acobonsai.com 崔寨信息门户网 .All Right Reserved