Python数据分析与处理(二)——处理中国地区信息
作者:a?Fang 时间:2021-04-04 17:12:26
2.1数据的爬取
代码:
import pandas as pd
data=pd.read_csv("example_data.csv",header=1)
print(data)
data1=pd.read_csv("北京地区信息.csv",header=1,encoding='gbk')
data2=pd.read_csv("天津地区信息.csv",encoding='gbk')
print(data1)
print(data2)
代码运行结果:
首先使用pandas
的read_csv()
方法进行数据的读取,然后就能够看到相应的表格信息。
2.2检查重复数据
dupnum=data.duplicated()
print(dupnum)
\# 对重复值进行处理
caldup=data.drop_duplicates()
print(caldup)
代码运行结果:
主要是是使用这个duplicated()
方法进行数据的查重,返回一个布尔序列,仅对唯一元素而言为True
。如果有重复的数据就会在该数值的部分返货Flase
。
然后我们就可以使用drop_duplicates()
进行重复值删除。
2.3检查缺失值
代码:
from pandas import Series
from numpy import NAN
\# import pandas as pd
series_obj=Series([1,None])
pd.notnull(series_obj)
\# 上面做的是测试
pd.notnull(data)
pd.notnull(data1)
pd.notnull(data2)
代码运行结果:
使用pd.notnull(data1)
进行非空数值的返回, 返回值是布尔型的矩阵,再取df[布尔型矩阵]返回的是id为非空的行。
2.4 检查异常值
import numpy as np
\# 2.4 检查异常值
def three_sig(ser1):
mean_value=ser1.mean()
\# 标准差
std_value=ser1.std()
\# 位于3σ范围外的都是异常值
\# 数值大于u+3σ小雨u-3σ
rule=(mean_value-3*std_value>ser1)|(ser1.mean()+3*ser1.std()<ser1)
index=np.arange(ser1.shape[0])[rule]
outrange=ser1.iloc[index]
return outrange
three_sig(data2["女性"])
代码运行结果:
3σ原则又称为拉依达准则,该准则具体来说,就是先假设一组检测数据只含有随机误差,对原始数据进行计算处理得到标准差,然后按一定的概率确定一个区间,认为误差超过这个区间的就属于异常值。
通俗理解就是正态分布。
来源:https://blog.csdn.net/qq_46258465/article/details/122178448
标签:Python,数据,分析,处理,中国,地区,信息
0
投稿
猜你喜欢
PHP面向接口编程 耦合设计模式 简单范例
2023-10-24 09:18:27
网站导航设计模式指南
2011-03-04 16:12:00
TensorFlow 显存使用机制详解
2022-02-07 11:46:53
Python+pyplot绘制带文本标注的柱状图方法
2023-06-26 16:09:11
完美解决webstorm启动索引文件卡死的问题
2022-04-05 05:52:29
Chrome调试折腾记之JS断点调试技巧
2023-07-07 16:35:08
Golang并发之RWMutex的用法详解
2024-05-09 14:52:35
MySQL表设计优化与索引 (五)
2010-10-25 20:24:00
Python中浅拷贝copy与深拷贝deepcopy的简单理解
2022-06-23 18:14:10
python 利用turtle模块画出没有角的方格
2022-03-09 04:25:04
python中global用法实例分析
2023-09-16 08:33:47
python编程控制Android手机操作技巧示例
2021-12-01 07:59:05
php获取域名的google收录示例
2022-08-22 07:26:48
python利用dlib获取人脸的68个landmark
2023-07-25 15:28:19
python高级语法之闭包和装饰器详解
2021-09-19 18:28:55
Go 切片导致内存泄露的几种原因
2024-02-03 18:45:33
Python函数中定义参数的四种方式
2021-10-11 03:10:20
MySQL 5.0.16乱码问题的解决方法
2024-01-23 07:07:27
python使用turtle库绘制时钟
2022-09-13 07:06:51
浅谈SQL Server中统计对于查询的影响分析
2024-01-24 10:54:21