社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

如何做梯度下降问题(机器学习)?

noahship • 7 年前 • 2196 次点击  

有人能解释一下在没有成本函数的情况下如何做梯度下降问题吗?我已经看过无数的使用成本函数解释梯度下降的教程,但我真的不明白它是如何在更一般的意义上工作的。

我有一个3D功能:

Z=3*(1-xx) 2)*np.exp(—(xx) 2)-(YY+ 1) 2) -10*(XX/5-XX) 3 YY 5)*NP.EXP(-xx) 2 YY 2)-(1/3)*NP.EXP(-XX+1)**2-年 2)

我被要求:

编写一个简单的梯度算法。设置参数如下:

  • 学习率=步长:0.1
  • 最大迭代次数:20
  • 停止条件:0.0001(当渐变小于阈值时,迭代应停止)

然后从

  • (x0=0.5,y0=-0.5)
  • (x0=-0.3,y0=-0.3)

我已经看到这段代码在任何讨论梯度下降的地方浮动:

def update_weights(m, b, X, Y, learning_rate):
    m_deriv = 0
    b_deriv = 0
    N = len(X)
    for i in range(N):
        # Calculate partial derivatives
        # -2x(y - (mx + b))
        m_deriv += -2*X[i] * (Y[i] - (m*X[i] + b))

        # -2(y - (mx + b))
        b_deriv += -2*(Y[i] - (m*X[i] + b))

    # We subtract because the derivatives point in direction of steepest ascent
    m -= (m_deriv / float(N)) * learning_rate
    b -= (b_deriv / float(N)) * learning_rate

    return m, b
    enter code here

但我不知道如何用它来解决我的问题。我的功能在那里如何?我应该调整什么而不是M和B?我很困惑。

谢谢您。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/42911
文章 [ 1 ]  |  最新文章 7 年前
mujjiga
Reply   •   1 楼
mujjiga    7 年前

梯度下降法是一种求函数最小值的优化算法。

非常简单的视图

让我们从一维函数y=f(x)开始

让我们从x的任意值开始,找到f(x)的梯度(斜率)。

  • 如果斜率在x处减小,则意味着我们必须进一步向(数字线右侧)x(为了达到最小值)
  • 如果斜率在x处增加,那就意味着我们必须离开(数字线的左边)x

    我们可以通过求函数的导数得到斜率。如果斜率减小,导数为-ve;如果斜率增大,导数为+ve

所以我们可以从x的任意值开始,用x的导数慢慢地向最小值移动,移动的速度由学习速率或步长决定。所以我们有更新规则

x = x - df_dx*lr

我们可以看到,如果斜率减小,导数(df_dx)为-ve,x增大,所以x进一步向右移动。另一方面,如果斜率增加,df_dx是+ve,这会减小x,所以我们向左转。

enter image description here

我们继续这个过程,或者多次,或者直到导数很小

多元函数z=f(x,y)

同样的逻辑也适用,除了现在我们用偏导数代替导数。 更新规则是

x = x - dpf_dx*lr
y = y - dpf_dy*lr

其中dpf_dx是f相对于x的偏导数

上述算法称为梯度下降算法。在机器学习中,f(x,y)是我们感兴趣的最小代价/损失函数。

例子

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d.axes3d import Axes3D
from pylab import meshgrid
from scipy.optimize import fmin
import math

def z_func(a):
 x, y = a
 return ((x-1)**2+(y-2)**2)

x = np.arange(-3.0,3.0,0.1)
y = np.arange(-3.0,3.0,0.1)
X,Y = meshgrid(x, y) # grid of point
Z = z_func((X, Y)) # evaluation of the function on the grid

fig = plt.figure()
ax = fig.gca(projection='3d')
surf = ax.plot_surface(X, Y, Z, rstride=1, cstride=1,linewidth=0, antialiased=False)
plt.show()

z_func的最小值为(1,2)。这可以使用scipy的fmin函数来验证

fmin(z_func,np.array([10,10]))

现在让我们编写我们自己的梯度下降算法来找到z_func的最小值

def gradient_decent(x,y,lr):
    while True:
        d_x = 2*(x-1)
        d_y = 2*(y-2)

        x -= d_x*lr
        y -= d_y*lr

        if d_x < 0.0001 and d_y < 0.0001:
            break
    return x,y

print (gradient_decent(10,10,0.1)

我们从任意值x=10和y=10开始,学习率为0.1。上面的代码打印 1.000033672997724 2.0000299315535326 这是正确的。

因此,如果你有一个连续可微凸函数,要找到它的最优值(对于凸函数来说是最小值),你所要做的就是找到函数对每个变量的偏导数,并使用上面提到的更新规则。重复这些步骤,直到梯度很小,这意味着我们已经达到了凸函数的最小值。

如果函数不是凸的,我们可能会陷入局部最优。