python实现逻辑回归的方法示例
作者:唯心不易 时间:2021-07-27 17:04:24
本文实现的原理很简单,优化方法是用的梯度下降。后面有测试结果。
先来看看实现的示例代码:
# coding=utf-8
from math import exp
import matplotlib.pyplot as plt
import numpy as np
from sklearn.datasets.samples_generator import make_blobs
def sigmoid(num):
'''
:param num: 待计算的x
:return: sigmoid之后的数值
'''
if type(num) == int or type(num) == float:
return 1.0 / (1 + exp(-1 * num))
else:
raise ValueError, 'only int or float data can compute sigmoid'
class logistic():
def __init__(self, x, y):
if type(x) == type(y) == list:
self.x = np.array(x)
self.y = np.array(y)
elif type(x) == type(y) == np.ndarray:
self.x = x
self.y = y
else:
raise ValueError, 'input data error'
def sigmoid(self, x):
'''
:param x: 输入向量
:return: 对输入向量整体进行simgoid计算后的向量结果
'''
s = np.frompyfunc(lambda x: sigmoid(x), 1, 1)
return s(x)
def train_with_punish(self, alpha, errors, punish=0.0001):
'''
:param alpha: alpha为学习速率
:param errors: 误差小于多少时停止迭代的阈值
:param punish: 惩罚系数
:param times: 最大迭代次数
:return:
'''
self.punish = punish
dimension = self.x.shape[1]
self.theta = np.random.random(dimension)
compute_error = 100000000
times = 0
while compute_error > errors:
res = np.dot(self.x, self.theta)
delta = self.sigmoid(res) - self.y
self.theta = self.theta - alpha * np.dot(self.x.T, delta) - punish * self.theta # 带惩罚的梯度下降方法
compute_error = np.sum(delta)
times += 1
def predict(self, x):
'''
:param x: 给入新的未标注的向量
:return: 按照计算出的参数返回判定的类别
'''
x = np.array(x)
if self.sigmoid(np.dot(x, self.theta)) > 0.5:
return 1
else:
return 0
def test1():
'''
用来进行测试和画图,展现效果
:return:
'''
x, y = make_blobs(n_samples=200, centers=2, n_features=2, random_state=0, center_box=(10, 20))
x1 = []
y1 = []
x2 = []
y2 = []
for i in range(len(y)):
if y[i] == 0:
x1.append(x[i][0])
y1.append(x[i][1])
elif y[i] == 1:
x2.append(x[i][0])
y2.append(x[i][1])
# 以上均为处理数据,生成出两类数据
p = logistic(x, y)
p.train_with_punish(alpha=0.00001, errors=0.005, punish=0.01) # 步长是0.00001,最大允许误差是0.005,惩罚系数是0.01
x_test = np.arange(10, 20, 0.01)
y_test = (-1 * p.theta[0] / p.theta[1]) * x_test
plt.plot(x_test, y_test, c='g', label='logistic_line')
plt.scatter(x1, y1, c='r', label='positive')
plt.scatter(x2, y2, c='b', label='negative')
plt.legend(loc=2)
plt.title('punish value = ' + p.punish.__str__())
plt.show()
if __name__ == '__main__':
test1()
运行结果如下图
来源:http://www.cnblogs.com/chuxiuhong/p/6022566.html
标签:python,逻辑回归
0
投稿
猜你喜欢
Python多线程扫描端口代码示例
2021-09-26 10:32:39
XML正在接管Web服务 成为SOA的基础
2008-09-05 17:21:00
css网页下拉菜单制作方法(3):样式修饰
2007-02-03 11:39:00
用 JS 来控制 target 链接属性
2007-10-08 12:59:00
教你利用python如何读取txt中的数据
2023-04-03 14:52:36
Python实现对中文文本分段分句
2022-09-16 18:16:50
Tensorflow进行多维矩阵的拆分与拼接实例
2021-11-29 22:20:58
TensorFlow实现指数衰减学习率的方法
2021-02-20 13:13:55
python中sklearn的pipeline模块实例详解
2021-09-05 00:57:34
python global和nonlocal用法解析
2022-05-17 02:56:17
pytorch 优化器(optim)不同参数组,不同学习率设置的操作
2021-09-14 05:05:44
Python读取图片EXIF信息类库介绍和使用实例
2023-05-27 00:49:47
Python连接SQLServer2000的方法详解
2023-07-23 09:02:12
python爬虫教程之bs4解析和xpath解析详解
2023-09-22 19:43:06
php使用curl抓取qq空间的访客信息示例
2023-10-30 05:50:32
python脚本调用iftop 统计业务应用流量的思路详解
2022-02-07 02:37:12
基于Django的乐观锁与悲观锁解决订单并发问题详解
2021-07-14 19:42:08
使用python绘制常用的图表
2022-02-16 19:47:33
在Python的Django框架的视图中使用Session的方法
2023-06-22 07:10:15
Python3使用requests模块实现显示下载进度的方法详解
2021-03-26 21:14:52