理解回归

2014年08月31日

为啥用最小二乘表示cost function,由最大似然估计(拉格朗日)可以推出来

最大似然估计到EM算法

求解最小二乘使用梯度下降方法或者牛顿迭代法求出。

逻辑回归的cost function为最小二乘法吗

由于逻辑回归中的最小二乘cost function不是凸的,不能方便求最优化解。 针对逻辑回归,可以选择对数似然损失函数作为loss function 经过多步推导后,发现最后的梯度下降形式相同,除了最初的hypothesis不同外,世界又变美好了。