时间:2022-12-17 09:50:22 | 栏目:Python代码 | 点击:次
ppi-cpi
剪刀差大家可能都听说过,通过这个指标可以了解当前的经济运行状况,小编为了学习 python 的图形绘制,通过爬虫的方式获取到 ppi 和 cpi 的历史数据,然后通过 matplotlib
绘图工具将 ppi
数据和 cpi
数据同框展示,最后通过颜色填充来表示其中的差额部分。对于新手来讲,会学习到 python
的基础知识、爬虫以及图形绘制的知识。
既然是数据获取,就需要找一个权威的网站获取 cpi 和 ppi 的数据,这里小编采用东方财富网的数据,这里直接给出页面的访问地址:
# cpi数据访问地址 https://data.eastmoney.com/cjsj/cpi.html
cpi 的数据来源如下图所示,这里只获取月份数据和全国列中的同比增长即可。
ppi 数据如下所示,这里和 cpi 的数据获取内容类似,只获取月份数据和当月同比增长即可。
既然知道了数据来源,那么怎么获取数据呢,一看到这个表格,是不是要复制页面进 excel 在进行解析,no,这样的话不符合程序员的气质,我注意到了表格下方有分页,那么肯定是有通过 ajax 和后台进行通信的,通过观察小编发现了这两个接口,可以获取我们想要的数据:
# ppi 数据 https://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=GJZB&sty=ZGZB&p=1&ps=10&mkt=22 # cpi 数据 https://datainterface.eastmoney.com/EM_DataCenter/JS.aspx?type=GJZB&sty=ZGZB&p=1&ps=10&mkt=19
aspx
后缀的接口看来还是 .net
呀,这里简单分析一下,p=1&ps=10
分页参数就不说了,大家都知道的,重要的是 mkt
参数,表示了数据的分类。其他的参数也不需要关心含义,保留就好。
使用 python
抓取数据,这里采用 requests
来获取数据:
def query_data_list(url): """ 获取数据 """ # 去除 https 校验提醒信息 verify=False 忽略对证书的验证 requests.packages.urllib3.disable_warnings() data = requests.get(url, verify=False).text # 通过浏览器控制台查看数据返回的结构,进行转换后存入一个 list data = data.replace("([\"", "").replace("\"])", "") arr_list = data.split("\",\"") # 临时打印结果 print(arr_list) return arr_list
最终获取到的数据如下图所示:
在绘制图形之前,需要先对数据进行处理:
按照以上的观点,数据处理的代码如下图所示:
对于图形的绘制,有以下几点:
其余诸如时间过滤以及接口配置和引入的类库如下图所示:
最后,经过这些编码,得到了最终的 cpi-ppi 的剪刀差图形如下:
文章介绍了简单的 python
爬虫,并使用 numpy
进行了简单的数据处理,最终使用 matplotlib
进行图形绘制,实现了直观的方式展示 cpi-ppi
的剪刀差图形。使用接口的方式获取数据能够随时随地的跟据数据的更新重新绘制图形,省去了数据重新抓取的步骤。