《Lidar-Monocular Surface Reconstruction Using Line Segments》(ICRA2021)

Motivation

SFM在视觉退化的环境通常会定位失败，解决这个问题的一个方案就是融合激光雷达，并且为了更高层级的融合，首先从雷达和图像中分别提取线特征，然后对这个线特征进行对齐融合。

Contribution

1. 我们提出了一种新颖的端到端结构，利用激光雷达/摄像机联合观测的算法，用于导出用于定位的三维线段的选项作为重建依据。
2. 通过实验验证了效果。

Content

1. 系统框图

   包含两个部分，第一个是运动模块增强，这个是基于提取的线段(从不同的雷达帧和相机帧共同提取的线特征)，使用对应点搜索，可以从线的聚族中生成额外的基于BA的代价函数。第二个部分是利用新的代价函数生成的位姿重建三维网格和三维线段。

1. 线特征检测

   在图像中采用的是LSD描述子，在图像中获得的二维线段通过lidar增强深度，从而生成三维线段。对于激光点云，采用loam的曲率描述生成角点集，从角点集里应用RANSAC，保留内点，最后得到对应于LSD线特征的激光点，从而获得对应的深度.

1. 2D/3D线匹配

1. 线BA

   像素点重投影误差:

\[e_R(X_j)=\sum\sum\|\pi^i(X_j)-x^i_k\|^2\]

线重投影误差

\[e_L(L_j)=\sum\sum\|^sl^i_k,\pi^i(L_j)\|_{2D}+\|^el^i_k,\pi^i(L_j)\|_2D\]

最终的代价函数为这两个误差的加权和:

\[error=argmin W_r*e_r+W_L*e_L\]

1. 实验结果