python实现机器学习之多元线性回归
作者:婉如 时间:2022-09-04 01:42:49
总体思路与一元线性回归思想一样,现在将数据以矩阵形式进行运算,更加方便。
一元线性回归实现代码
下面是多元线性回归用Python实现的代码:
import numpy as np
def linearRegression(data_X,data_Y,learningRate,loopNum):
W = np.zeros(shape=[1, data_X.shape[1]])
# W的shape取决于特征个数,而x的行是样本个数,x的列是特征值个数
# 所需要的W的形式为 行=特征个数,列=1 这样的矩阵。但也可以用1行,再进行转置:W.T
# X.shape[0]取X的行数,X.shape[1]取X的列数
b = 0
#梯度下降
for i in range(loopNum):
W_derivative = np.zeros(shape=[1, data_X.shape[1]])
b_derivative, cost = 0, 0
WXPlusb = np.dot(data_X, W.T) + b # W.T:W的转置
W_derivative += np.dot((WXPlusb - data_Y).T, data_X) # np.dot:矩阵乘法
b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)
cost += (WXPlusb - data_Y)*(WXPlusb - data_Y)
W_derivative = W_derivative / data_X.shape[0] # data_X.shape[0]:data_X矩阵的行数,即样本个数
b_derivative = b_derivative / data_X.shape[0]
W = W - learningRate*W_derivative
b = b - learningRate*b_derivative
cost = cost/(2*data_X.shape[0])
if i % 100 == 0:
print(cost)
print(W)
print(b)
if __name__== "__main__":
X = np.random.normal(0, 10, 100)
noise = np.random.normal(0, 0.05, 20)
W = np.array([[3, 5, 8, 2, 1]]) #设5个特征值
X = X.reshape(20, 5) #reshape成20行5列
noise = noise.reshape(20, 1)
Y = np.dot(X, W.T)+6 + noise
linearRegression(X, Y, 0.003, 5000)
特别需要注意的是要弄清:矩阵的形状
在梯度下降的时候,计算两个偏导值,这里面的矩阵形状变化需要注意。
梯度下降数学式子:
以代码中为例,来分析一下梯度下降中的矩阵形状。
代码中设了5个特征。
WXPlusb = np.dot(data_X, W.T) + b
W是一个1*5矩阵,data_X是一个20*5矩阵
WXPlusb矩阵形状=20*5矩阵乘上5*1(W的转置)的矩阵=20*1矩阵
W_derivative += np.dot((WXPlusb - data_Y).T, data_X)
W偏导矩阵形状=1*20矩阵乘上 20*5矩阵=1*5矩阵
b_derivative += np.dot(np.ones(shape=[1, data_X.shape[0]]), WXPlusb - data_Y)
b是一个数,用1*20的全1矩阵乘上20*1矩阵=一个数
来源:https://blog.csdn.net/zhangergou0628/article/details/80455596
标签:python,多元线性回归
0
投稿
猜你喜欢
利用Python将list列表写入文件并读取的方法汇总
2023-12-07 13:40:07
python实用代码片段收集贴
2022-02-16 10:01:40
如何做一个文本书写器?
2010-07-12 18:58:00
AJAX概述
2007-11-03 13:41:00
Python爬虫实现自动登录、签到功能的代码
2023-01-29 12:15:37
Linux安装卸载Mysql数据库
2011-01-29 16:45:00
使用TFRecord存取多个数据案例
2023-07-14 22:26:34
python 全角半角互换的实现示例
2021-02-03 20:30:52
利用pip安装python第三方库的4种方法
2023-11-16 08:16:51
Pipenv一键搭建python虚拟环境的方法
2022-07-15 03:49:41
详解Python计算机视觉 图像扭曲(仿射扭曲)
2021-06-13 15:57:43
python 实现ping测试延迟的两种方法
2022-03-05 06:35:17
38个Asp内置函数介绍
2008-11-27 16:25:00
Go语言使用swagger生成接口文档的方法
2023-08-28 06:23:23
python批量替换页眉页脚实例代码
2022-09-09 11:02:29
python2爬取百度贴吧指定关键字和图片代码实例
2022-10-12 09:03:44
python中pandas库中DataFrame对行和列的操作使用方法示例
2022-07-05 03:09:00
Yii2 rbac权限控制之菜单menu实例教程
2023-11-14 10:41:19
pytorch模型的保存加载与续训练详解
2022-03-27 08:45:08
nginx简单配置多个php服务实例教程
2023-06-11 22:53:30