回归的定义

Regression就是指找到一个函数$function$，通过输入特征x，输出一个数值$Scalar$

看了李宏毅老师的机器学习课程视频，其中的Regression demo部分，关于预测宝可梦的CP值的应用代码，在jupyter notebook中实现。
现在假设有10个x_data和y_data，x和y之间的关系是y_data=b+w*x_data。b，w都是参数，是需要学习出来的。现在我们来练习用梯度下降找到b和w。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['Simhei']  # 显示中文
mpl.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题

x_data= [ 338.,  333., 328., 207., 226., 25., 179., 60., 208., 606.]
y_data= [ 640.,  633., 619., 393., 428., 27., 193., 66., 226., 1591.] 
# ydata =b + w * xdata

x = np.arange(-200, -100, 1) #bias
y = np.arange(-5,5,0.1) #weight
Z = np.zeros((len(x), len(y)))
X, Y = np.meshgrid(x, y)
for i in range(len(x)):
    for j in range(len(y)):
        b = x[i]
        w = y[j]
        Z[j][i] = 0
        for n in range(len(x_data)):
            Z[j][i] = Z[j][i]  + (y_data[n] - b - w*x_data[n]) **2
        Z[j][i] =   Z[j][i] /len(x_data)

# ydata = b + w * xdata
b = -120 # initial b
w = -4 #intial w
lr =0.0000001 
iteration = 100000 
# Store initial values for plotting.
b_history = [b]
w_history = [w]

#lr_b = 0 #客制化b的learning rate 的初始值
#lr_w = 0 #客制化w的learning rate 的初始值

# Iterations
for i in range(iteration):
    
    b_grad = 0.0
    w_grad = 0.0
    for n in range(len(x_data)):
        b_grad = b_grad - 2.0*(y_data[n] - b - w*x_data[n]) *1.0
        w_grad = w_grad - 2.0*(y_data[n] - b - w*x_data[n])*x_data[n]
        
   # lr_b = lr_b + b_grad ** 2 #客制化b的learning rate
   # lr_w = lr_w + w_grad ** 2 #客制化w的learning rate
        
    # Update parameters.
    b = b - lr * b_grad
    w = w - lr * w_grad
    
    # Store parameters for plotting
    b_history.append(b)
    w_history.append(w)

# plot the figure
plt.contourf(x, y, Z, 50, alpha = 0.5, cmap=plt.get_cmap('jet'))
plt.plot([-188.4], [2.67], 'x', ms = 12, markeredgewidth = 3, color='orange')
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black')
plt.xlim(-200, -100)
plt.ylim(-5,5)
plt.xlabel(r'$b$', fontsize=16)
plt.ylabel(r'$w$', fontsize=16)
plt.title("线性回归")
plt.show()
        

输出结果图：

横坐标是b，纵坐标是w，标记×位最优解，显然，在图中我们并没有运行得到最优解，最优解十分的遥远。那么我们就调大learning rate，lr = 0.000001（调大10倍），得到结果如下图。

我们再调大learning rate，lr = 0.00001（调大10倍），得到结果如下图。

结果发现learning rate太大了，结果很不好。
所以我们给b和w特制化两种learning rate
修改后代码如下：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.rcParams['font.sans-serif'] = ['Simhei']  # 显示中文
mpl.rcParams['axes.unicode_minus'] = False  # 解决保存图像是负号'-'显示为方块的问题

x_data= [ 338.,  333., 328., 207., 226., 25., 179., 60., 208., 606.]
y_data= [ 640.,  633., 619., 393., 428., 27., 193., 66., 226., 1591.] 
# ydata =b + w * xdata

x = np.arange(-200, -100, 1) #bias
y = np.arange(-5,5,0.1) #weight
Z = np.zeros((len(x), len(y)))
X, Y = np.meshgrid(x, y)
for i in range(len(x)):
    for j in range(len(y)):
        b = x[i]
        w = y[j]
        Z[j][i] = 0
        for n in range(len(x_data)):
            Z[j][i] = Z[j][i]  + (y_data[n] - b - w*x_data[n]) **2
        Z[j][i] =   Z[j][i] /len(x_data)

# ydata = b + w * xdata
b = -120 # initial b
w = -4 #intial w
lr =1 #learning rate设为1
iteration = 100000 
# Store initial values for plotting.
b_history = [b]
w_history = [w]

lr_b = 0 #客制化b的learning rate 的初始值
lr_w = 0 #客制化w的learning rate 的初始值

# Iterations
for i in range(iteration):
    
    b_grad = 0.0
    w_grad = 0.0
    for n in range(len(x_data)):
        b_grad = b_grad - 2.0*(y_data[n] - b - w*x_data[n]) *1.0
        w_grad = w_grad - 2.0*(y_data[n] - b - w*x_data[n])*x_data[n]
        
    lr_b = lr_b + b_grad ** 2 #客制化b的learning rate
    lr_w = lr_w + w_grad ** 2 #客制化w的learning rate
        
    # Update parameters.
    b = b - lr/np.sqrt(lr_b ) * b_grad
    w = w - lr/np.sqrt(lr_w ) * w_grad
    
    # Store parameters for plotting
    b_history.append(b)
    w_history.append(w)

# plot the figure
plt.contourf(x, y, Z, 50, alpha = 0.5, cmap=plt.get_cmap('jet'))
plt.plot([-188.4], [2.67], 'x', ms = 12, markeredgewidth = 3, color='orange')
plt.plot(b_history, w_history, 'o-', ms=3, lw=1.5, color='black')
plt.xlim(-200, -100)
plt.ylim(-5,5)
plt.xlabel(r'$b$', fontsize=16)
plt.ylabel(r'$w$', fontsize=16)
plt.title("线性回归")
plt.show()

这样有了新的特制化两种learning rate就可以在10w次迭代之内到达最优点了。