嵌入式系统的鲁棒单目视觉惯性深度补齐

person 匿名

发布日期: 2021-07-28 17:33:20 浏览量: 310
评分:
star star star star star star star star star star_border
*转载请注明来自write-bug.com

Robust Monocular Visual-Inertial Depth Completion for Embedded Systems

摘要

在该文章中,作者增强了其之前提出的最先进的视觉惯性里程计(VIO)系统 ——OpenVINS ,通过使用图像引导填充来自VIO的稀疏深度估计(深度补全),从而产生精准的稠密深度,并同时在嵌入式设备上实现完整的VIO+depth系统的实时性能。
从VIO系统产生的具有不同稀疏度的噪声深度值不仅会损害预测稠密深度图的准确性,而且要比来自具有相同底层架构的纯图像深度网络的深度值差得多。
作者在室外模拟和室内手持RGB-D两个数据集上研究了这种敏感性,并提出了简单而有效的解决方案来解决深度补全网络的这些缺点。
文章还讨论了OpenVINS的关键变化,即需要为网络提供高质量的稀疏深度,同时仍然能够对嵌入式设备进行有效的状态估计。作者在不同的嵌入式设备上进行了全面的计算分析,以证明所提出的 VIO 深度补齐系统的效率和准确性。

主要工作与贡献

文章表明,VIO所产生具有可变稀疏性的嘈杂深度值,不仅会损害完整深度图的准确性,而且会使它们的预测远差于具有相同基础架构的纯图像深度网络。
文章提出了新的解决方案来解决这些缺点并增强该网络架构,这些解决方案几乎可以推广到任何稀疏深度补全网络和数据集中,同时无需改变网络架构。
作者通过利用模拟以及真实的VIO深度输入,在室外模拟MAV和室内手持 RGBD数据集上介绍和评估所提出的方法。需要为网络提供高质量的稀疏深度输入来对OpenVINS引入了一些关键更改,并在嵌入式设备(<10-15W)上实现高效的VIO深度补全。
通过全面的时序实验,作者证明了其所提出的VIO深度补全系统可以实现此目标。

算法流程

初始化算法分为三部分:

OpenVINS修改

OpenVINS的核心是一个基于EKF的流形模块化的滑动窗口视觉惯性估计器。其采用了两种不同类型的特征:1)SLAM特征和2)MSCKF特征。文章首先对MSCKF特征的数量引入限制.其次,在每次特征更新后对所有可以进行三角化的主动跟踪特征执行重新三角化的过程。不仅大大缩小了计算时间,而且还可以得到更精确的稀疏深度。

模拟分析

与现有的RGBD数据集相比,文章的分析是在模拟的户外森林环境下进行的。以此提供一个具有挑战性的深度估计场景和完全密集的真实深度图。

(a)来自VIO的RGBsD输入以及真实深度图。(b)仅通过联合每个像素绝对误差的热图来对RGB网络的预测(白色较大)。(c)经过无噪声训练的深度补全网络的预测效果比RGB网络还要差。(d)所提出的网络通过训练对极端变化的稀疏性水平和噪声深度值具有一定鲁棒性。

上传的附件
eject