Python爬取新型冠状病毒“谣言”新闻进行数据分析

作者:Fantasy! 时间:2021-06-14 04:47:33 

一、爬取数据

话不多说了,直接上代码( copy即可用 )


import requests
import pandas as pd
class SpiderRumor(object):
def __init__(self):
self.url = "https://vp.fact.qq.com/loadmore?artnum=0&page=%s"
self.header = {
 "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
}
def spider_run(self):
df_all = list()
for url in [self.url % i for i in range(30)]:
 data_list = requests.get(url, headers=self.header).json()["content"]
 temp_data = [[df["title"], df["date"], df["result"], df["explain"], df["tag"]] for df in data_list]
 df_all.extend(temp_data)
 print(temp_data[0])
pd.DataFrame(df_all, columns=["title", "date", "result", "explain", "tag"]).to_csv("冠状病毒谣言数据.csv", encoding="utf_8_sig")
if __name__ == '__main__':
spider = SpiderRumor()
spider.spider_run()

爬虫过程

Python爬取新型冠状病毒“谣言”新闻进行数据分析

二、数据分析

数据展示

Python爬取新型冠状病毒“谣言”新闻进行数据分析

每日谣言数量

Python爬取新型冠状病毒“谣言”新闻进行数据分析

由图可得:1月24日和1月25日是谣言的高峰期,让我们来看看这两天的数据:

Python爬取新型冠状病毒“谣言”新闻进行数据分析
Python爬取新型冠状病毒“谣言”新闻进行数据分析

由上图得知 一月二十四号和二十号传播的 29 条谣言中 96.55% 都是假的

谣言是否属实占比

Python爬取新型冠状病毒“谣言”新闻进行数据分析

从1月18日到今日截止2月14日共发现了300条谣言,右上图可得:76.33% 都是假的,只要 7.00% 是属实的,其中 14.33% 的谣言属于 伪科学 而且 还有 8.00% 属于尚无定论凭空捏造出的,需要多注意⚠️

谣言的关键字展示

Python爬取新型冠状病毒“谣言”新闻进行数据分析

下面介绍 matplotlib 绘制饼图的代码


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Windows系统设置中文字体
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False
data = pd.read_csv("/冠状病毒谣言数据.csv"")
labels = data["explain"].value_counts().index.tolist()
sizes = data["explain"].value_counts().values.tolist()
colors = ['lightgreen', 'gold', 'lightskyblue', 'lightcoral']
plt.figure(figsize=(15,8))
plt.pie(sizes, labels=labels,
colors=colors, autopct='%1.1f%%', shadow=True, startangle=50) # shadow=True 表示阴影
plt.axis('equal') # 使图居中
plt.show()

绘制谣言关键字分布图(观察 tag 这个字段)

Python爬取新型冠状病毒“谣言”新闻进行数据分析

由于 tag 这个字段内容是列表,我们取出来后是列表嵌套列表:[[a, b], [b, c], [c, d]] 我们要使用一行列表生成式快速的将所以的关键字取出来 [j for i in a for j in i]


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Windows系统设置中文字体
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False

data = pd.read_csv("/冠状病毒谣言数据.csv"")
df = pd.Series([j for i in [eval(i) for i in data["tag"].tolist()] for j in i]).value_counts()[:20]
X = df.index.tolist()
y = df.values.tolist()
plt.figure(figsize=(15, 8)) # 设置画布
plt.bar(X, y, color="orange")
plt.tight_layout()
# plt.grid(axis="y")
plt.grid(ls='-.')
plt.show()

总结

以上所述是小编给大家介绍的Python爬取新型冠状病毒“谣言”新闻进行数据分析,希望对大家有所帮助!

来源:https://blog.csdn.net/qq_42768234/article/details/104316887

标签:Python,冠状病毒,疫情
0
投稿

猜你喜欢

  • OpenCV半小时掌握基本操作之腐蚀膨胀

    2023-05-29 08:14:35
  • windows下vue-cli及webpack搭建安装环境

    2024-04-27 16:06:39
  • ASP使用wsImage组件给图片加水印

    2008-12-29 19:14:00
  • 解决Win10系统安装MySQL8.0遇到的问题

    2024-01-19 12:55:27
  • 设计师的职业规划

    2009-08-31 12:52:00
  • 归纳整理Python中的控制流语句的知识点

    2021-03-04 12:07:12
  • python实现基于SVM手写数字识别功能

    2021-10-03 12:33:41
  • Node.js中的process.nextTick使用实例

    2024-05-08 09:36:18
  • Python import与from import使用和区别解读

    2021-06-22 08:51:02
  • vue实现卡片翻转轮播展示

    2024-04-27 16:08:16
  • SQL Server树型结构数据处理的存储过程

    2010-01-26 13:40:00
  • python如何使用jt400.jar包代码实例

    2021-05-07 03:50:46
  • Python安装并操作redis实现流程详解

    2023-06-15 00:17:22
  • 微信小程序页面向下滚动时tab栏固定页面顶部实例讲解

    2024-05-02 17:07:18
  • Web 标准设计实践:Google 的首页

    2008-10-12 12:14:00
  • Vue的v-if和v-show的区别图文介绍

    2024-04-30 10:41:40
  • python3 wechatpy微信支付的项目实践

    2023-08-29 14:13:36
  • golang之JWT实现的示例代码

    2024-01-30 03:35:30
  • Python对切片命名的实现方法

    2023-09-30 09:43:15
  • Asp实现伪静态的方法

    2007-09-29 21:27:00
  • asp之家 网络编程 m.aspxhome.com