Python实现的简单线性回归算法实例分析

作者:疯琴 时间:2021-06-05 17:16:12 

本文实例讲述了Python实现的简单线性回归算法。分享给大家供大家参考,具体如下:

用python实现R的线性模型(lm)中一元线性回归的简单方法,使用R的women示例数据,R的运行结果:

> summary(fit)
Call:
lm(formula = weight ~ height, data = women)
Residuals:
    Min      1Q  Median      3Q     Max
-1.7333 -1.1333 -0.3833  0.7417  3.1167
Coefficients:
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -87.51667    5.93694  -14.74 1.71e-09 ***
height        3.45000    0.09114   37.85 1.09e-14 ***
---
Signif. codes:  0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1
Residual standard error: 1.525 on 13 degrees of freedom
Multiple R-squared:  0.991, Adjusted R-squared:  0.9903
F-statistic:  1433 on 1 and 13 DF,  p-value: 1.091e-14

python实现的功能包括:

  1. 计算pearson相关系数

  2. 使用最小二乘法计算回归系数

  3. 计算拟合优度判定系数R2R2

  4. 计算估计标准误差Se

  5. 计算显著性检验的F和P值


import numpy as np
import scipy.stats as ss
class Lm:
 """简单一元线性模型,计算回归系数、拟合优度的判定系数和
 估计标准误差,显著性水平"""
 def __init__(self, data_source, separator):
   self.beta = np.matrix(np.zeros(2))
   self.yhat = np.matrix(np.zeros(2))
   self.r2 = 0.0
   self.se = 0.0
   self.f = 0.0
   self.msr = 0.0
   self.mse = 0.0
   self.p = 0.0
   data_mat = np.genfromtxt(data_source, delimiter=separator)
   self.xarr = data_mat[:, :-1]
   self.yarr = data_mat[:, -1]
   self.ybar = np.mean(self.yarr)
   self.dfd = len(self.yarr) - 2 # 自由度n-2
   return
 # 计算协方差
 @staticmethod
 def cov_custom(x, y):
   result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)
   return result
 # 计算相关系数
 @staticmethod
 def corr_custom(x, y):
   return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1))
 # 计算回归系数
 def simple_regression(self):
   xmat = np.mat(self.xarr)
   ymat = np.mat(self.yarr).T
   xtx = xmat.T * xmat
   if np.linalg.det(xtx) == 0.0:
     print('Can not resolve the problem')
     return
   self.beta = np.linalg.solve(xtx, xmat.T * ymat) # xtx.I * (xmat.T * ymat)
   self.yhat = (xmat * self.beta).flatten().A[0]
   return
 # 计算拟合优度的判定系数R方,即相关系数corr的平方
 def r_square(self):
   y = np.mat(self.yarr)
   ybar = np.mean(y)
   self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2)
   return
 # 计算估计标准误差
 def estimate_deviation(self):
   y = np.array(self.yarr)
   self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd)
   return
 # 显著性检验F
 def sig_test(self):
   ybar = np.mean(self.yarr)
   self.msr = np.sum((self.yhat - ybar) ** 2)
   self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd
   self.f = self.msr / self.mse
   self.p = ss.f.sf(self.f, 1, self.dfd)
   return
 def summary(self):
   self.simple_regression()
   corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr)
   self.r_square()
   self.estimate_deviation()
   self.sig_test()
   print('The Pearson\'s correlation coefficient: %.3f' % corr_coe)
   print('The Regression Coefficient: %s' % self.beta.flatten().A[0])
   print('R square: %.3f' % self.r2)
   print('The standard error of estimate: %.3f' % self.se)
   print('F-statistic: %d on %s and %s DF, p-value: %.3e' % (self.f, 1, self.dfd, self.p))

python执行结果:

The Regression Coefficient: [-87.51666667   3.45      ]
R square: 0.991
The standard error of estimate: 1.525
F-statistic:  1433 on 1 and 13 DF,  p-value: 1.091e-14

其中求回归系数时用矩阵转置求逆再用numpy内置的解线性方程组的方法是最快的:


a = np.mat(women.xarr); b = np.mat(women.yarr).T
timeit (a.I * b)
99.9 µs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit ata.I * (a.T*b)
64.9 µs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)
timeit np.linalg.solve(ata, a.T*b)
15.1 µs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

希望本文所述对大家Python程序设计有所帮助。

来源:https://blog.csdn.net/qq_35753140/article/details/78699748

标签:Python,线性回归,算法
0
投稿

猜你喜欢

  • Python with关键字,上下文管理器,@contextmanager文件操作示例

    2022-06-22 05:33:12
  • asp如何实现网上考试功能?

    2010-05-24 18:32:00
  • python pandas获取csv指定行 列的操作方法

    2023-07-13 05:26:46
  • pandas.dataframe按行索引表达式选取方法

    2021-10-28 20:26:32
  • SQL Server数据库中伪列及伪列的含义详解

    2024-01-27 19:19:19
  • PyQt5实现画布小程序

    2022-03-02 07:37:46
  • python实现MD5进行文件去重的示例代码

    2021-12-13 02:28:23
  • Div+CSS网页布局对SEO的影响漫谈

    2008-08-22 12:58:00
  • Mysql 数据库常用备份方法和注意事项

    2024-01-17 15:43:25
  • python Django模板的使用方法(图文)

    2022-03-30 04:23:52
  • CentOS 7 中以命令行方式安装 MySQL 5.7.11 for Linux Generic 二进制版本教程详解

    2024-01-26 00:24:39
  • python通过smpt发送邮件的方法

    2021-06-18 02:50:59
  • Python连接Hadoop数据中遇到的各种坑(汇总)

    2023-09-13 20:16:34
  • Python初学者常见错误详解

    2023-09-09 10:16:46
  • 程序员趣味读物 谈谈Unicode编码

    2023-03-19 14:56:13
  • mysql建表常用sql语句个人经验分享

    2024-01-27 12:30:48
  • 彻底解决MySql在UTF8字符集下乱码问题

    2011-06-02 12:02:00
  • jquery精度计算代码 jquery指定精确小数位

    2024-05-21 10:20:21
  • 使用python-pptx操作PPT的示例详解

    2022-06-01 21:49:20
  • MSSQL 监控数据/日志文件增长实现方法

    2024-01-22 14:05:34
  • asp之家 网络编程 m.aspxhome.com