端到端训练提取激光点云特征. 效果不错.

《Unsupervised Learning of Lidar Features for Use in a Probabilistic Trajectory Estimator》(RAL 2021 )

Motivation

概率状态估计目前虽然已经比较成熟，但是针对于不同的传感器，需要不同的估计器，所以作者希望开发一个学习框架，仅从数据输入来训练出合适的模型参数，从而可以提取出更加鲁棒的激光点云特征。

Contribution

1. 提出了一种高斯变分推理环境下的无监督参数学习，可以通过输入丰富传感器数据的深度学习训练出移动机器人的轨迹估计。
2. 该框架是对现有系统识别方法的扩展，该方法优化了观测数据的可能性。
3. 实验证明，所提出的激光雷达里程计的性能优于使用深度网络学习完整估计器的现有方法，并且与基于KITTI里程计数据集的最新ICP方法性能相当。

Content

1. 无监督训练激光雷达里程计

A. 问题定义

采用滑窗因子图, 可以因式分解为状态和数据的联合可能性:

\[\phi(\mathbf{x}, \mathbf{z} \mid \boldsymbol{\theta})=\sum_{k=\tau+1}^{\tau+w-1}\left(\phi^{p}\left(\mathbf{x}_{k-1}, \mathbf{x}_{k}\right)+\sum_{\ell=1}^{L_{k}} \phi^{m}\left(\mathbf{z}_{k}^{\ell} \mid \mathbf{x}_{\tau}, \mathbf{x}_{k}, \boldsymbol{\theta}\right)\right)\]

对位姿先验应用加速度白噪声模型:

\[\begin{aligned} \dot{\mathbf{T}}(t) &=\varpi(t)^{\wedge} \mathbf{T}(t) \\ \dot{\boldsymbol{\varpi}} &=\mathbf{w}(t), \quad \mathbf{w}(t) \sim \mathcal{G} \mathcal{P}\left(\mathbf{0}, \mathbf{Q}_{c} \delta\left(t-t^{\prime}\right)\right) \end{aligned}\]

将激光测量通过似然函数表示成如下形式:

\[\begin{aligned} \phi^{m}\left(\mathbf{z}_{k}^{\ell} \mid \mathbf{x}_{\tau}, \mathbf{x}_{k}, \boldsymbol{\theta}\right) &=\frac{1}{2}\left(\mathbf{z}_{k}^{\ell}-\mathbf{g}\left(\mathbf{x}_{\tau}, \mathbf{x}_{k}\right)\right)^{T} \\ & \times \mathbf{W}_{k}^{\ell}\left(\mathbf{z}_{k}^{\ell}-\mathbf{g}\left(\mathbf{x}_{\tau}, \mathbf{x}_{k}\right)\right)-\ln \left|\mathbf{W}_{k}^{\ell}\right| \end{aligned}\]

然后使用EM来联合优化这些参数

B. 网络

如下图，采用一种U-Net方式的卷积编码器-多解码器网络架构，该架构从投影到二维（2D）鸟瞰图图像的雷达数据中输出关键点和描述符，因此卷积核在2D欧几里德空间中具有空间范围，并且使用KPConv实现了3D点云的等效效果，KPConv是一种点云卷积方法，使用固定半径球体中排列的核点3。的

网络的输入是一个激光雷达帧点云，带有强度数据通道。每个网络层j（包括输入层0）将点云均匀地二次采样到每个体素格中，编码器中的连续层将网格尺寸增加2倍，因此在欧几里德空间中以不同的尺度应用卷积。为了使输入和输出维度相等，解码器层的情况正好相反。

编码器的每一层由ResNet块的两个KPConv组成，然后是空间维度缩减的跨步变化。解码器的每一层由一个最近的上采样操作和一个KPConv和ResNet块组成。这些卷积块应用了ReLU非线性和批量归一化。

反向测量协方差来自两个解码器之一的输出（上图的顶部解码器）。将1×1线性卷积应用于最后一个解码器层，得到具有6个通道的最终输出。将输出值合成逆协方差矩阵，对对称正定矩阵使用以下LDU分解(l,d的6个参数分别是6维位姿)：

\[\mathbf{W}=\left[\begin{array}{ccc} 1 & 0 & 0 \\ \ell_{1} & 1 & 0 \\ \ell_{2} & \ell_{3} & 1 \end{array}\right]\left[\begin{array}{ccc} \exp d_{1} & 0 & 0 \\ 0 & \exp d_{2} & 0 \\ 0 & 0 & \exp d_{3} \end{array}\right]\left[\begin{array}{ccc} 1 & 0 & 0 \\ \ell_{1} & 1 & 0 \\ \ell_{2} & \ell_{3} & 1 \end{array}\right]^{T}\]

检测器分数是剩余解码器的输出。对最后一层应用1×1线性卷积后，最终输出有1个通道，即每个点的标量检测器分数。然后将点云划分为网格大小为dg的体素（我们将dg设置为1.6 m），以便为每个体素计算一个关键点。对于每个体素，在检测器分数上应用softmax函数，得到用于计算关键点坐标的权重.

下图显示了学习到的检测器分数和协方差的可视化。探测器有利于结构上和附近的点，如墙角和垂直柱。并且附近的地面比车辆更受青睐，这可能是因为它们的动态特性。网络不需要手动选择误差度量（例如，点对面），而是适应低级几何图形。

C. 离群值检测

不反向传播任何超过阈值α的因子项。该阈值（设置为4）仅在反向传播步骤的训练期间应用。

\[\left(\mathbf{z}_{k}^{\ell}-\mathbf{g}\left(\mathbf{x}_{\tau}, \mathbf{x}_{k}\right)\right)^{T} \mathbf{W}_{k}^{\ell}\left(\mathbf{z}_{k}^{\ell}-\mathbf{g}\left(\mathbf{x}_{\tau}, \mathbf{x}_{k}\right)\right)>\alpha\]

1. 实验结果

## Conclusion

这篇文章证明了端到端的里程计的性能确实是值的期待的，并且KITTI榜单上的排名也接近了SUMA++的位次，本篇文章分析的比较浅显，对于网络的细节，以及引用到的网络的区别没有做深入分析，后续如果需要做端到端训练的话，这篇文章需要进行深入分析。