python数据分析必会的Pandas技巧汇总

作者:退休的龙叔 时间:2023-09-14 03:44:27 

一、Pandas两大数据结构的创建

序号方法说明
1pd.Series(对象,index=[ ])创建Series。对象可以是列表\ndarray、字典以及DataFrame中的某一行或某一列
2pd.DataFrame(data,columns = [ ],index = [ ])创建DataFrame。columns和index为指定的列、行索引,并按照顺序排列

举例:用pandas创建数据表:


df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
"date":pd.date_range('20130102', periods=6),
 "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
"age":[23,44,54,32,34,32],
"category":['100-A','100-B','110-A','110-C','210-A','130-F'],
 "price":[1200,np.nan,2133,5433,np.nan,4432]},
 columns =['id','date','city','category','age','price'])

二、DataFrame常见方法

序号方法说明
1df.head()查询数据的前五行
2df.tail()查询数据的末尾5行
3pandas.qcut()基于秩或基于样本分位数将变量离散化为等大小桶
4pandas.cut()基于分位数的离散化函数
5pandas.date_range()返回一个时间索引
6df.apply()沿相应轴应用函数
7Series.value_counts()返回不同数据的计数值
8df.reset_index()重新设置index,参数drop = True时会丢弃原来的索引,设置新的从0开始的索引,常与groupby()一起用

举例:重新索引

df_inner.reset_index()

三、数据索引

序号方法说明
1.values将DataFrame转换为ndarray二维数组
2.append(idx)连接另一个Index对象,产生新的Index对象
3.insert(loc,e)在loc位置增加一个元素
4.delete(loc)删除loc位置处的元素
5.union(idx)计算并集
6.intersection(idx)计算交集
7.diff(idx)计算差集,产生新的Index对象
8.reindex(index, columns ,fill_value, method, limit, copy )改变、重排Series和DataFrame索引,会创建一个新对象,如果某个索引值当前不存在,就引入缺失值。
9.drop()删除Series和DataFrame指定行或列索引。
10.loc[行标签,列标签]通过标签查询指定的数据,第一个值为行标签,第二值为列标签。
11df.iloc[行位置,列位置]通过默认生成的数字索引查询指定的数据。

举例:按索引提取单行的数值

df_inner.loc[3]

四、DataFrame选取和重新组合数据的方法

序号方法说明
1df[val]从DataFrame选取单列或一组列;在特殊情况下比较便利:布尔型数组(过滤行)、切片(行切片)、或布尔型DataFrame(根据条件设置值)
2df.loc[val]通过标签,选取DataFrame的单个行或一组行
3df.loc[:,val]通过标签,选取单列或列子集
4df.1oc[val1,val2]通过标签,同时选取行和列
5df.iloc[where]通过整数位置,从DataFrame选取单个行或行子集
6df.iloc[:,where]通过整数位置,从DataFrame选取单个列或列子集
7df.iloc[where_i,where_j]通过整数位置,同时选取行和列
8df.at[1abel_i,1abel_j]通过行和列标签,选取单一的标量
9df.iat[i,j]通过行和列的位置(整数),选取单一的标量
10reindex通过标签选取行或列
11get_value通过行和列标签选取单一值
12set_value通过行和列标签选取单一值

举例:使用iloc按位置区域提取数据

df_inner.iloc[:3,:2]

#冒号前后的数字不再是索引的标签名称,而是数据所在的位置,从0开始,前三行,前两列。

五、排序

序号函数说明
1.sort_index(axis=0, ascending=True)根据指定轴索引的值进行排序
2Series.sort_values(axis=0, ascending=True)只能根据0轴的值排序。
3DataFrame.sort_values(by, axis=0, ascending=True)参数by为axis轴上的某个索引或索引列表。

举例:按照索引列排序

df_inner.sort_index()

六、相关分析和统计分析

序号方法说明
1.idxmin()计算数据最小值所在位置的索引(自定义索引)
2.idxmax()计算数据最大值所在位置的索引(自定义索引)
3.argmin()计算数据最小值所在位置的索引位置(自动索引)
4.argmax()计算数据最大值所在位置的索引位置(自动索引)
5.describe()针对各列的多个统计汇总,用统计学指标快速描述数据的概要
6.sum()计算各列数据的和
7.count()非NaN值的数量
8.mean( )计算数据的算术平均值
9.median()计算算术中位数
10.var()计算数据的方差
11.std()计算数据的标准差
12.corr()计算相关系数矩阵
13.cov()计算协方差矩阵
14.corrwith()利用DataFrame的corrwith方法,可以计算其列或行跟另一个Series或DataFrame之间的相关系数。
15.min()计算数据的最小值
16.max()计算数据的最大值
17.diff()计算一阶差分,对时间序列很有效
18.mode()计算众数,返回频数最高的那(几)个
19.mean()计算均值
20.quantile()计算分位数(0到1)
21.isin()用于判断矢量化集合的成员资格,可用于过滤Series中或DataFrame列中数据的子集
22.unique()返回一个Series中的唯一值组成的数组。
23.value_counts()计算一个Series中各值出现的频率。

举例:判断city列的值是否为北京

df_inner['city'].isin(['beijing']) 

七、分组的方法

序号方法说明
1DataFrame.groupby()分组函数
2pandas.cut()根据数据分析对象的特征,按照一定的数值指标,把数据分析对象划分为不同的区间部分来进行研究,以揭示其内在的联系和规律性。

举例:.groupby用法

group_by_name=salaries.groupby('name')
print(type(group_by_name))

输出结果为:

class 'pandas.core.groupby.DataFrameGroupBy'

八、读写文本格式数据的方法

序号方法说明
1read_csv从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
2read_table从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符(t)
3read_ fwf读取定宽列格式数据(也就是说,没有分隔符)
4read_clipboard读取剪贴板中的数据,可以看做read_table的剪贴板版。再将网页转换为表格时很有用
5read_excel从ExcelXLS或XLSXfile 读取表格数据
6read_hdf读取pandas写的HDF5文件
7read_html读取HTML文档中的所有表格
8read_json读取JSON字符串中的数据
9read_msgpack二进制格式编码的pandas数据
10read_pickle读取Python pickle格式中存储的任意对象
11read_sas读取存储于SAS系统自定义存储格式的SAS数据集
12read_sql读取SQL 查询结果为pandas的DataFrame
13read_stata读取Stata文件格式的数据集
14read_feather读取 Feather二进制文件格式

举例:导入CSV或者xlsx文件

df = pd.DataFrame(pd.read_csv('name.csv',header=1))
df = pd.DataFrame(pd.read_excel('name.xlsx'))

九、处理缺失数据

序号方法说明
1.fillna(value,method,limit,inplace)填充缺失值
2.dropna()删除缺失数据
3.info()查看数据的信息,包括每个字段的名称、非空数量、字段的数据类型
4.isnull()返回一个同样长度的值为布尔型的对象(Series或DataFrame),表示哪些值是缺失的

举例:查看数据表基本信息(维度、列名称、数据格式等等)

df.info()

十、数据转换

序号方法说明
1.replace(old, new)用新的数据替换老的数据,如果希望一次性替换多个值,old和new可以是列表。默认会返回一个新的对象,传入inplace=True可以对现有对象进行就地修改。
2.duplicated()判断各行是否是重复行,返回一个布尔型Series。
3.drop_duplicates()删除重复行,返回删除后的DataFrame对象。

举例:删除后出现的重复值:

df['city'].drop_duplicates()

本文总结的是都是一些Pandas常用的方法,至于一些基础的概念还需要你学到Pandas的时候去理解,例如Series是什么?DataFrame是什么?如果你已经清楚了Pandas的这些基础东西之后,搭配上文章中的这些方法,那你用Pandas去做数据处理和分析必然会游刃有余。

来源:https://blog.csdn.net/zhiguigu/article/details/119701383

标签:python,Pandas,数据分析
0
投稿

猜你喜欢

  • Python标准库defaultdict模块使用示例

    2022-03-02 04:35:05
  • vue-cli 环境变量 process.env的使用及说明

    2024-05-29 22:28:45
  • MySql存储过程和游标的使用实例

    2024-01-13 09:50:11
  • Mysql 日期格式化及复杂日期区间查询

    2024-01-14 21:35:40
  • ASP脚本循环语句

    2009-02-19 13:34:00
  • Python序列化模块JSON与Pickle

    2022-11-06 00:24:37
  • 详解Django+Uwsgi+Nginx的生产环境部署

    2022-10-30 10:54:17
  • 可以让程序告诉我详细的页面错误和数据库连接错误吗?

    2009-11-01 18:01:00
  • vue中对象数组去重的实现

    2024-04-27 16:18:27
  • vue自定义过滤器创建和使用方法详解

    2024-05-09 15:17:06
  • pytorch 如何把图像数据集进行划分成train,test和val

    2023-12-26 15:28:10
  • 判断触发器正在处理的是插入,删除还是更新触发

    2012-01-29 18:30:34
  • 白话Block Formatting Context

    2010-08-03 12:36:00
  • JavaScript 基础问答 四

    2024-04-18 10:52:09
  • 用sleep间隔进行python反爬虫的实例讲解

    2023-02-10 07:00:42
  • ASP IE地址栏参数的判断

    2011-04-03 11:21:00
  • 详解使用Python处理文件目录的相关方法

    2023-08-01 02:55:30
  • Pycharm cannot set up a python SDK问题的原因及解决方法

    2022-12-21 15:05:34
  • Windows版mysql 8.0.28 安装配置方法图文教程

    2024-01-16 08:30:17
  • Python Flask框架开发之运用SocketIO实现WebSSH方法详解

    2021-11-06 01:03:33
  • asp之家 网络编程 m.aspxhome.com