Python数据分析之绘制ppi-cpi剪刀差图形
作者:? 时间:2023-01-10 09:57:03
前言
ppi-cpi
剪刀差大家可能都听说过,通过这个指标可以了解当前的经济运行状况,小编为了学习 python 的图形绘制,通过爬虫的方式获取到 ppi 和 cpi 的历史数据,然后通过 matplotlib
绘图工具将 ppi
数据和 cpi
数据同框展示,最后通过颜色填充来表示其中的差额部分。对于新手来讲,会学习到 python
的基础知识、爬虫以及图形绘制的知识。
ppi 和 cpi 数据获取
既然是数据获取,就需要找一个权威的网站获取 cpi 和 ppi 的数据,这里小编采用东方财富网的数据,这里直接给出页面的访问地址:
# cpi数据访问地址
https://data.eastmoney.com/cjsj/cpi.html
cpi 的数据来源如下图所示,这里只获取月份数据和全国列中的同比增长即可。
ppi 数据如下所示,这里和 cpi 的数据获取内容类似,只获取月份数据和当月同比增长即可。
既然知道了数据来源,那么怎么获取数据呢,一看到这个表格,是不是要复制页面进 excel 在进行解析,no,这样的话不符合程序员的气质,我注意到了表格下方有分页,那么肯定是有通过 ajax 和后台进行通信的,通过观察小编发现了这两个接口,可以获取我们想要的数据:
# ppi 数据
https://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=GJZB&sty=ZGZB&p=1&ps=10&mkt=22
# cpi 数据
https://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=GJZB&sty=ZGZB&p=1&ps=10&mkt=19
aspx
后缀的接口看来还是 .net
呀,这里简单分析一下,p=1&ps=10
分页参数就不说了,大家都知道的,重要的是 mkt
参数,表示了数据的分类。其他的参数也不需要关心含义,保留就好。
使用 python
抓取数据,这里采用 requests
来获取数据:
def query_data_list(url):
"""
获取数据
"""
# 去除 https 校验提醒信息 verify=False 忽略对证书的验证
requests.packages.urllib3.disable_warnings()
data = requests.get(url, verify=False).text
# 通过浏览器控制台查看数据返回的结构,进行转换后存入一个 list
data = data.replace("([\"", "").replace("\"])", "")
arr_list = data.split("\",\"")
# 临时打印结果
print(arr_list)
return arr_list
最终获取到的数据如下图所示:
ppi-cpi 图形绘制
在绘制图形之前,需要先对数据进行处理:
1 数据需要进行加工,提取需要展示的数据,日期和同比数据,数据的格式需要转换。
2 cpi 和 ppi 从时间上来讲长度不一致,需要既然要展示,就需要放在同一段时间内进行比较。
3 cpi 和 ppi 数据已经有 20 多年了,从实际需要的角度出发,这里只展示 10 年的数据即可。
按照以上的观点,数据处理的代码如下图所示:
对于图形的绘制,有以下几点:
1 图形中需要展示 cpi 和 ppi 的数据情况,同时展示图例进行标识。
2 设置纵向和横向的数据参考线。
3 能够体现出数据的差值区间和范围,差值部分进行颜色填充并予以区分。 针对以上几点,绘制图形的代码如下图所示:
其余诸如时间过滤以及接口配置和引入的类库如下图所示:
最后,经过这些编码,得到了最终的 cpi-ppi 的剪刀差图形如下:
来源:https://juejin.cn/post/7081819665206345742