梯度下降

梯度下降,就是利用梯度找最小值,即从较大值下降到极小值。

梯度是最大的方向导数,标量场中某一点沿此方向变化最大。在二维坐标系中,就是曲线斜率(导数)。

三维坐标系中,利用梯度下降,就是类似于你站在山顶,然后沿着最陡峭的一面下降\(\alpha \times (梯度值)\)距离,其中,\(\alpha\)是固定步长learning rate. 然后站在新的一点上,继续环顾四周,找最陡的距离下山。梯度下降法得到的值可以不是最小值,而是极小值。

 

发表评论

电子邮件地址不会被公开。 必填项已用*标注