是依据误差的平方和最小这个条件来求回归系数的.
比如一元的,y=ax+b
E=∑(y-yi)^2=∑(axi+b-yi)^2
将a,b看成变量,则E的最小值需有其偏导数为0,即
E'a=2∑(axi+b-yi)xi=0
E'b=2∑(axi+b-yi)=0
由上面两个方程即可解出a,b.
多元的时候是一样的处理,比如两元：y=ax+bu+c
E=∑(y-yi)^2=∑(axi+bui+c-yi)^2
将a,b,c看成变量,则E的最小值需有其偏导数为0,即
E'a=2∑(axi+bui+c-yi)xi=0
E'b=2∑(axi+bui+c-yi)ui=0
E'c=2∑(axi+bui+c-yi)=0
由上面三个方程即可解出a,b,c.