python实现BackPropagation算法
作者:芳草碧连天lc 时间:2022-03-26 12:06:39
实现神经网络的权重和偏置更新,很重要的一部就是使用BackPropagation(反向传播)算法。具体来说,反向传播算法就是用误差的反向传播来计算w(权重)和b(偏置)相对于目标函数的导数,这样就可以在原来的w,b的基础上减去偏导数来更新。其中我上次写的python实现梯度下降中有一个函数backprop(x,y)就是用来实现反向传播的算法。(注:代码并非自己总结,github上有这个代码的实现https://github.com/LCAIZJ/neural-networks-and-deep-learning)
def backprop(self,x,y):
nabla_b = [np.zeros(b.shape) for b in self.biases]
nabla_w = [np.zeros(w.shape) for w in self.weights]
# 通过输入x,前向计算输出层的值
activation = x
activations = [x]# 存储的是所以的输出层
zs = []
for b,w in zip(self.biases,self.weights):
z = np.dot(w,activation)+b
zs.append(z)
activation = sigmoid(z)
activations.append(activation)
# 计算输出层的error
delta = self.cost_derivative(activations[-1],y)*sigmoid_prime(zs[:-1])
nabla_b[-1] = delta
nabla_w[-1] = np.dot(delta,activations[-2].transpose())
#反向更新error
for l in xrange(2,self.num_layers):
z = zs[-l]
sp = sigmoid_prime(z)
delta = np.dot(self.weight[-l+1].transpose(),delta)*sp
nabla_b[-l] = delta
nabla_w[-l] = np.dot(delta,activations[-l-1].transpose())
return (nabla_b,nabla_w)
其中,传入的x和y是一个单独的实例。
def cost_derivative(self,output_activation,y):
return (output_activation-y)
def sigmoid(z):
return 1.0/(1.0+np.exp(z))
def sigmoid_prime(z):
return sigmoid(z)*(1-sigmoid(z))
来源:http://blog.csdn.net/leichaoaizhaojie/article/details/57080946
标签:python,BackPropagation
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
给Python初学者的一些编程技巧
2023-05-27 21:41:30
ASP网站远程客户实现EXCEL打印功能
2009-02-02 09:01:00
在SQL Server2000中恢复Master数据库
2008-01-05 14:05:00
Python实例一个类背后发生了什么
2023-05-19 05:44:18
Python自定义一个类实现字典dict功能的方法
2023-07-20 22:45:59
Python中实现变量赋值传递时的引用和拷贝方法
2021-12-26 04:05:54
php判断输入不超过mysql的varchar字段的长度范围
2023-11-14 12:02:10
用JS找出字符串中出现次数最多的字母
2007-11-12 13:40:00
Python随机数用法实例详解【基于random模块】
2023-10-26 08:48:49
PHP global全局变量经典应用与注意事项分析【附$GLOBALS用法对比】 <font color=red>原创</font>
2023-11-16 07:37:55
用server.transfer隐藏网页真实地址
2007-12-04 13:02:00
![](https://img.aspxhome.com/file/UploadPic/up/2007120418262385.gif)
深度学习详解之初试机器学习
2022-07-04 18:00:13
![](https://img.aspxhome.com/file/2023/7/81697_0s.png)
详解python里使用正则表达式的分组命名方式
2023-10-16 22:02:17
Python用GET方法上传文件
2022-08-03 01:13:59
MYSQL中怎样设列的默认值为Now()的介绍
2008-11-01 16:54:00
python 在屏幕上逐字显示一行字的实例
2023-09-22 22:55:29
Python写代码的七条重要技巧介绍
2023-09-14 06:04:07
![](https://img.aspxhome.com/file/2023/7/88847_0s.jpg)
在ASP.NET 2.0中操作数据之十一:基于数据的自定义格式化
2023-07-14 19:53:21
![](https://img.aspxhome.com/file/2023/7/75547_0s.png)
php版淘宝网查询商品接口代码示例
2023-11-14 12:01:54
一个css垂直水平居中布局,css效果
2008-11-03 11:40:00