Python Dataframe 指定多列去重、求差集的方法
作者:jasonwang_ 时间:2022-01-12 00:40:19
1)去重
指定多列去重,这是在dataframe没有独一无二的字段作为PK(主键)时,需要指定多个字段一起作为该行的PK,在这种情况下对整体数据进行去重。
Attention:主要用到了drop_duplicates方法,并设置参数subset为多个字段名构成的数组。
具体代码如下:
>>>import pandas as pd
>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}
>>>frame=pd.DataFrame(data)
>>>frame
popstate
0a1
1b1
2c2
3d2
4b1
5c2
6d2
>>>frame.drop_duplicates(subset=['pop','state'])
popstate
0a1
1b1
2c2
3d2
2)求差集
假设有两个dataframe为a和b,a和b可以是相互包含的关系,现在想要将a中和b重复的内容去掉,也就是求差集,步骤如下:
(1)需要对两个dataframe进行去重。
(2)利用append方法,a=a.append(b)
(3)再次利用append方法,a=a.append(b)
(4)去重,利用drop_duplicates方法,a=a.drop_duplicates(),以及设置参数keep=False,意思就是只要有重复,重复的记录都去掉。(keep默认='first',也就是保留第一条记录)
具体代码如下:
>>>data_a={'state':[1,1,2],'pop':['a','b','c']}
>>>data_b={'state':[1,2,3],'pop':['b','c','d']}
>>>a=pd.DataFrame(data_a)
>>>a
popstate
0a1
1b1
2c2
>>>b=pd.DataFrame(data_b)
>>>b
popstate
0b1
1c2
2d3
>>>a = a.append(b)
>>>a = a.append(b)
>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)
>>>result
popstate
0a1
来源:https://blog.csdn.net/jasonwang_/article/details/78797458
标签:Python,dataframe,差集
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
PyG搭建GCN模型实现节点分类GCNConv参数详解
2022-08-22 19:58:49
![](https://img.aspxhome.com/file/2023/2/97702_0s.png)
Python jieba 中文分词与词频统计的操作
2022-08-31 17:08:14
![](https://img.aspxhome.com/file/2023/4/77684_0s.jpg)
胶水语言Python与C/C++的相互调用的实现
2021-01-16 20:06:49
![](https://img.aspxhome.com/file/2023/8/76748_0s.png)
Python中使用json.load()和json.loads()加载json数据的方法实例
2021-12-15 20:12:31
深入解析PHP 5.3.x 的strtotime() 时区设定 警告信息修复
2023-11-06 19:25:27
Python实用日期时间处理方法汇总
2022-10-21 03:07:48
Python做图像处理及视频音频文件分离和合成功能
2022-07-31 14:58:05
互联网产品交互事件分析
2009-10-06 15:23:00
js处理自己不能定义二维数组的方法详解
2023-09-06 21:25:12
Python访问Redis的详细操作
2022-03-13 13:22:25
![](https://img.aspxhome.com/file/2023/5/98785_0s.png)
MySQL十条特殊技巧
2007-09-17 12:33:00
Golang语言学习拿捏Go反射示例教程
2023-06-22 23:30:23
![](https://img.aspxhome.com/file/2023/2/87632_0s.jpg)
python pandas dataframe 按列或者按行合并的方法
2022-04-15 13:25:19
asp如何判断偶数和奇数?
2010-01-12 20:16:00
Python用input输入列表的实例代码
2021-09-22 09:33:53
![](https://img.aspxhome.com/file/2023/5/105815_0s.png)
960px下的黄金分割
2009-07-31 14:33:00
![](https://img.aspxhome.com/file/UploadPic/20097/31/498022_1248973274hhmt-19s.jpg)
Keras使用ImageNet上预训练的模型方式
2021-03-01 10:08:51
![](https://img.aspxhome.com/file/2023/0/81840_0s.jpg)
call在Python中改进数列的实例讲解
2021-10-12 17:17:20
JavaScript面向对象的简单介绍
2008-06-27 12:37:00
python encode和decode的妙用
2021-01-08 01:34:20