弱监督下的语义前景修复

person 匿名

发布日期: 2021-09-15 15:39:26 浏览量: 235
评分:
star_border star_border star_border star_border star_border star_border star_border star_border star_border star_border
*转载请注明来自write-bug.com

Semantic Foreground Inpainting from Weak Supervision

摘要

语义场景理解是自动驾驶车辆和移动机器人的一项重要任务。在我们的工作中,我们的目标是估计一个语义分割图,其中前景对象被删除和语义修复背景类,从一个单一的RGB图像。该语义前景修复任务由单阶段卷积神经网络(CNN)执行,该神经网络包含我们新颖的最大池作为修复(MPI)模块,该模块是在弱监督下训练的,即它不需要对要修复的前景区域进行手动背景注释。我们的方法本质上比以前的两阶段最先进的方法更有效,并且在城市风景上修复的前景区域方面比它高出3%的IoU。当在看不见的KITTI数据集上测试时,性能裕度增加到6% IoU。

系统概述

我们的网络能够分割出前景对象(二进制或可选的多类),同时用背景类(道路、人行道和其他刚性世界)修复这些前景对象后面的语义场景。

网络概述

执行语义前景修复任务的网络的上部源自最先进的语义分割网络,即具有ResNet (-18,-50等)的PSPNet 骨干。请注意,主干分为两部分,中间插入了一个最大池修复模块。下部是一个轻量级网络(带有上采样模块的ResNet-18的前两个块),它分割出二进制前景对象,这是MPI模块并行需要的。请注意,这个轻量级网络可以选择性地使用网络上部主分支的功能(由蓝色虚线表示),这导致了更高效的模型,并被称为我们的模型-更快。训练期间应用了两个损失。

基线概述

由两个阶段组成。

循环中单次迭代的可视化示例。二进制前景蒙版和前景区域被涂黑的背景特征由规范的最大池操作同时处理,内核大小为3,步长为1,填充为1。然后,可以通过比较旧的和新的前景遮罩之间的差异来跟踪更新的特征,这被称为特征补丁。在最终迭代之后,累积每次迭代的补丁,并将其用于最终修复的特征图。

上传的附件
eject