使用Python实现牛顿法求极值
作者:lxy孙悟空 时间:2021-10-14 15:10:21
对于一个多元函数 用牛顿法求其极小值的迭代格式为
其中 为函数
的梯度向量,
为函数
的Hesse(Hessian)矩阵。
上述牛顿法不是全局收敛的。为此可以引入阻尼牛顿法(又称带步长的牛顿法)。
我们知道,求极值的一般迭代格式为
其中 为搜索步长,
为搜索方向(注意所有的迭代格式都是先计算搜索方向,再计算搜索步长,如同瞎子下山一样,先找到哪个方向可行下降,再决定下几步)。
取下降方向 即得阻尼牛顿法,只不过搜索步长
不确定,需要用线性搜索技术确定一个较优的值,比如精确线性搜索或者Goldstein搜索、Wolfe搜索等。特别地,当
一直取为常数1时,就是普通的牛顿法。
以Rosenbrock函数为例,即有
于是可得函数的梯度
函数 的Hesse矩阵为
编写Python代码如下(使用版本为Python3.3):
"""
Newton法
Rosenbrock函数
函数 f(x)=100*(x(2)-x(1).^2).^2+(1-x(1)).^2
梯度 g(x)=(-400*(x(2)-x(1)^2)*x(1)-2*(1-x(1)),200*(x(2)-x(1)^2))^(T)
"""
import numpy as np
import matplotlib.pyplot as plt
def jacobian(x):
return np.array([-400*x[0]*(x[1]-x[0]**2)-2*(1-x[0]),200*(x[1]-x[0]**2)])
def hessian(x):
return np.array([[-400*(x[1]-3*x[0]**2)+2,-400*x[0]],[-400*x[0],200]])
X1=np.arange(-1.5,1.5+0.05,0.05)
X2=np.arange(-3.5,2+0.05,0.05)
[x1,x2]=np.meshgrid(X1,X2)
f=100*(x2-x1**2)**2+(1-x1)**2; # 给定的函数
plt.contour(x1,x2,f,20) # 画出函数的20条轮廓线
def newton(x0):
print('初始点为:')
print(x0,'\n')
W=np.zeros((2,10**3))
i = 1
imax = 1000
W[:,0] = x0
x = x0
delta = 1
alpha = 1
while i<imax and delta>10**(-5):
p = -np.dot(np.linalg.inv(hessian(x)),jacobian(x))
x0 = x
x = x + alpha*p
W[:,i] = x
delta = sum((x-x0)**2)
print('第',i,'次迭代结果:')
print(x,'\n')
i=i+1
W=W[:,0:i] # 记录迭代点
return W
x0 = np.array([-1.2,1])
W=newton(x0)
plt.plot(W[0,:],W[1,:],'g*',W[0,:],W[1,:]) # 画出迭代点收敛的轨迹
plt.show()
上述代码中jacobian(x)返回函数的梯度,hessian(x)返回函数的Hesse矩阵,用W矩阵记录迭代点的坐标,然后画出点的搜索轨迹。
可得输出结果为
初始点为:
[-1.2 1. ]
第 1 次迭代结果:
[-1.1752809 1.38067416]
第 2 次迭代结果:
[ 0.76311487 -3.17503385]
第 3 次迭代结果:
[ 0.76342968 0.58282478]
第 4 次迭代结果:
[ 0.99999531 0.94402732]
第 5 次迭代结果:
[ 0.9999957 0.99999139]
第 6 次迭代结果:
[ 1. 1.]
即迭代了6次得到了最优解,画出的迭代点的轨迹如下:
由于主要使用了Python的Numpy模块来进行计算,可以看出,代码和最终的图与Matlab是很相像的。
来源:https://blog.csdn.net/u012705410/article/details/47209007
标签:Python,牛顿法,极值


猜你喜欢
MySQL 四种连接和多表查询详解
2024-01-14 17:34:29

ML神器:sklearn的快速使用及入门
2023-04-17 04:42:09

Python BeautifulSoup中文乱码问题的2种解决方法
2023-05-09 13:42:17
javascript面向对象编程(三)
2008-03-07 13:19:00
IE9四大渲染引擎模式
2010-04-20 16:57:00

js随机永不重复数
2011-04-25 19:26:00
php获取通过http协议post提交过来xml数据及解析xml
2023-11-14 15:43:36
rs.getrows的使用方法
2008-04-05 14:01:00
深度剖析使用python抓取网页正文的源码
2022-09-29 15:53:39
成功安装vscode中go的相关插件(详细教程)
2024-05-08 10:14:32

JS关于 replace 取值、替换第几个匹配项问题小结
2024-04-25 13:11:05
python 函数、变量中单下划线和双下划线的区别详解
2021-06-29 11:32:33
Django前端BootCSS实现分页的方法
2023-12-21 01:45:34

在Django的模型中添加自定义方法的示例
2021-12-07 17:14:58
windows8.1下Apache+Php+MySQL配置步骤
2023-06-06 17:59:16
Pytorch实现常用乘法算子TensorRT的示例代码
2021-08-17 17:49:47
通过session在ASP中改善动态分页的性能
2007-09-11 14:00:00
Python中的re正则表达式模块
2022-09-13 15:07:40
VUE+Element实现增删改查的示例源码
2024-05-09 09:32:47

JavaScript控制台的更多功能
2024-02-24 12:46:42