机器学习的岭回归除了正规方程还可以用梯度下降求解吗

更新时间:02-09 教程 由 基神 分享

机器学习的岭回归除了正规方程还可以用梯度下降求解吗?

首先我可以很肯定的告诉你,可以!但是也许题主就会产生疑问,在机器学习算法中,那么多算法都使用梯度下降,似乎在机器学习算法中,梯度下降是一个万能的优化算法为啥就不用呢?

其实正是因为梯度下降算法是一个万能优化算法,所以他就有自己的缺点,否则别的算法就没有存在的理由了。那么,梯度下降算法的缺点是什么呢?那就是它的效率比较低,求解速度比较慢,而且它的求解速度以及是否能够收敛要取决于步长这个参数的合理设计。步长设计的太小,算法需要迭代太多次才能收敛;步长设计的太大,算法可能会在最优解附近发散不收敛。

所以一般选择梯度下降作为某个机器学习算法的优化方法是因为该机器学习算法的目标函数不易求解:要么该目标函数不是凸函数,要么该目标函数没有解析解。

而岭回归是一个非常简单的算法,他能够使用正规方程直接求解模型最优参数,不需要使用梯度下降来慢慢迭代求解。因此,岭回归可以使用梯度下降算法进行求解,但是没有使用的原因是因为岭回归比较简单,它的目标函数是具有解析解,这时候使用梯度下降算法就不如使用正规方程求解速度快。

声明:关于《机器学习的岭回归除了正规方程还可以用梯度下降求解吗》以上内容仅供参考,若您的权利被侵害,请联系13825271@qq.com
本文网址:http://www.25820.com/tutorial/14_2293120.html