Question

一道关于最优化的数学题Let A be m×n and let B be m×1.Assume that functio

Answer 1

若Y是最小点,则有A^TAY=A^TB.(*)于是

|AX-B|^2-|AY-B|^2 (用B^T表示B的转置)

=X^TA^TAX-B^TAX-X^TA^TB+B^TB-(Y^TA^TAY-B^TAY-Y^TA^TB+B^TB)

将所有的A^TB用A^TA^代入得

=X^TA^TAX-Y^TA^TAX-X^TA^TAY+Y^TA^TA^

=(|A(X-Y)|)^2.

(*)可以参考最小二乘问题得到证明,也可以利用

|AX-B|^2=X^TA^TAX-B^TAX-X^TA^TB+B^TB对X求导得

2A^TAX-2A^TBX=0,于是驻点（最小点也是驻点）满足

A^TAY=A^TB.