Ax=0的最小二乘解

AX=0的最小二乘解

结论:当$||x||=1$时,$Ax=0$的最小二乘解是$A^TA$的最小特征值对应的特征向量。

上个命题等同于:$A^TA$的最小特征值所对应的特征向量可使得$||Ax||$最小。证明如下:

case 1:

若$x$为$A^TA$的特征向量,则有$A^TAx=\lambda x$,可以得到:
$$
||Ax||=(Ax)^T(Ax)=x^TA^TAx=\lambda x^Tx=\lambda
$$
由上式子可见,取$A^TA$的最小特征值对应的特征向量,可以使得$||Ax||$最小,最小值是$A^TA$最小特征值。

case 2:

若$x$不是$A^TA$的特征向量,则对$A$做SVD分解,得到:(奇异值按照降序排列)
$$
A = U \Sigma V^T
$$
则有:
$$
||Ax||=(Ax)^T(Ax)=x^TA^TAx \\
=x^TV \Sigma^T U^T U \Sigma V^T x\\
= x^TV \Sigma^T \Sigma V^T x
\tag{1}
$$
又因为:
$$
\Sigma^T \Sigma = \left[\begin{array}{ccc}
\delta_{1}^{2} & & \\
& \delta_{2}^{2} & \ldots & \\
& & & \delta_{n}^{2}
\end{array}\right]
\tag{2}
$$
在SVD分解中,右奇异矩阵$V$是一组$n$维的标准正交基,即:
$$
V = [\begin{array}{llll}
v_{1} & v_{2} & \cdots & v_{n}
\end{array}]
$$
因此,$n$维向量$x$可用该组基来表示:
$$
x=\alpha_{1} v_{1}+\alpha_{2} v_{2}+\cdots+\alpha_{n} v_{n}=\left[\begin{array}{llll}
v_{1} & v_{2} & \cdots & v_{n}
\end{array}\right]\left[\begin{array}{l}
\alpha_{1} \\
\alpha_{2} \\
\cdots \\
\alpha_{n}
\end{array}\right]
\tag{3}
$$

将公式(2)、(3)带入公式(1)中,可以得到:
$$
||Ax|| = \left[\begin{array}{llll}
\alpha_{1} & \alpha_{2} & \cdots & \alpha_{n}
\end{array}\right]\left[\begin{array}{llll}
\delta_{1}^{2} & & & \\
& \delta_{2}^{2} & & \\
& & \cdots & \\
& & & \delta_{n}^{2}
\end{array}\right]\left[\begin{array}{l}
\alpha_{1} \\
\alpha_{2} \\
\cdots \\
\alpha_{n}
\end{array}\right]
$$

$$
||Ax||=\alpha_1^2\delta_1^2 + \alpha_2^2\delta_2^2+\cdots+\alpha_n^2\delta_n^2
$$

因为$||x||=1$,因此有:
$$
(\alpha_1^2+\alpha_2^2+ \cdots +\alpha_n^2)=1
$$
所以有
$$
||Ax|| \geq \alpha_1^2\delta_n^2 + \alpha_2^2\delta_n^2+\cdots+\alpha_n^2\delta_n^2=\delta_n^2
$$
其中$\delta_n^2$是$A^TA$的最小特征值,上个公式说明,若$x$不是特征向量,则$||Ax||$一定大于等于$x$是$A$的最小特征值对应的特征向量时的数值。

综上:取$A^TA$的最小特征值或者奇异值对应的特征向量可使得$Ax=0$在$||x||=1$的条件下得到最优解法。

在实际的SLAM系统中,我们通常只能获得$||x||\not=0$这一条件,那么下面这条推论就十分有用了:

若$||Ax||$在$||x||=1$时取得最小值的变量为$x^*$,则有$||Ax||$在$||x||=\mu,\mu>0$时的最优解为$x^{**}=\mu x^*$,这说明这两个优化问题的解仅相差一个尺度$\mu$,一个简单的证明如下:

由$||Ax||$在$||x||=1$时的解的条件我们有:
$$
||Ax||\ge||Ax^*||,||x||=||x^*||=1
$$
则当$||x||=\mu$时:
$$
||A\frac{x}{\mu}||\ge||Ax^*||,||Ax||\ge||A(\mu x^*)||
$$
即$$||\mu x^*||$$是$||Ax||$在$||x||=\mu,\mu>0$时的最优解。

听说打赏我的人,最后都找到了真爱。