Pandas进行数据编码的十种方式总结
作者:刘早起 时间:2021-10-17 19:05:56
大家好,我是早起。
最近在知乎上看到这样一个问题
题主表示pandas
用起来很乱,事实真的如此吗?本文就将先如何利用pandas
来行数据转换/编码的十种方案,最后再回答这个问题。
其实这个操作在机器学习中十分常见,很多算法都需要我们对分类特征进行转换(编码),即根据某一列的值,新增(修改)一列。
为了方便理解,下面创建示例DataFrame
数值型数据
让我们先来讨论连续型数据的转换,也就是根据Score
列的值,来新增一列标签,即如果分数大于90,则标记为A,分数在80-90标记为B,以此类推。
自定义函数 + 循环遍历
首先当然是最简单,最笨的方法,自己写一个函数,并用循环遍历,那肯定就是一个def
加一个for
df1 = df.copy()
def myfun(x):
if x>90:
return 'A'
elif x>=80 and x<90:
return 'B'
elif x>=70 and x<80:
return 'C'
elif x>=60 and x<70:
return 'D'
else:
return 'E'
df1['Score_Label'] = None
for i in range(len(df1)):
df1.iloc[i,3] = myfun(df1.iloc[i,2])
这段代码,相信所有人都能看懂,简单好想但比较麻
有没有更简单的办法呢?pandas
当然提供了很多高效的操作的函数,继续往下看。
自定义函数 + map
现在,可以使用map
来干掉循环(虽然本质上也是循环)
df2 = df.copy()
def mapfun(x):
if x>90:
return 'A'
elif x>=80 and x<90:
return 'B'
elif x>=70 and x<80:
return 'C'
elif x>=60 and x<70:
return 'D'
else:
return 'E'
df2['Score_Label'] = df2['Score'].map(mapfun)
结果是同样的
自定义函数 + apply
如果还想简洁代码,可以使用自定义函数 + apply来干掉自定义函数
df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))
结果和上面是一致的,只不过这么写容易被打。
使用 pd.cut
现在,让我们继续了解更高级的pandas
函数,依旧是对 Score
进行编码,使用pd.cut
,并指定划分的区间后,可以直接帮你分好组
df4 = df.copy()
bins = [0, 59, 70, 80, 100]
df4['Score_Label'] = pd.cut(df4['Score'], bins)
也可以直接使用labels
参数来修改对应组的名称,是不是方便多了
df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
'low', 'middle', 'good', 'perfect'])
使用 sklearn 二值化
既然是和机器学习相关,sklearn
肯定跑不掉,如果需要新增一列并判定成绩是否及格,就可以使用Binarizer
函数,代码也是简洁好懂
df5 = df.copy()
binerize = Binarizer(threshold = 60)
trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label'] = trans
文本型数据
下面介绍更常见的,对文本数据进行转换打标签。例如新增一列,将性别男、女分别标记为0、1
使用 replace
首先介绍replace
,但要注意的是,上面说过的自定义函数相关方法依旧是可行的
df6 = df.copy()
df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])
上面是对性别操作,因为只有男女,所以可以手动指定0、1,但要是类别很多,也可以使用pd.value_counts()
来自动指定标签,例如对Course Name
列分组
df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']
使用map
额外强调的是,新增一列,一定要能够想到map
df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)
使用astype
这个方法应该很多人不知道,这就属于上面提到的知乎问题,能实现的方法太多了
df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes
使用 sklearn
同数值型一样,这种机器学习中的经典操作,sklearn
一定有办法,使用LabelEncoder
可以对分类数据进行编码
from sklearn.preprocessing import LabelEncoder
df9 = df.copy()
le = LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label'] = le.transform(df9['Sex'])
le.fit(df9['Course Name'])
df9['Course Name_Label'] = le.transform(df9['Course Name'])
一次性转换两列也是可以的
df9 = df.copy()
le = OrdinalEncoder()
le.fit(df9[['Sex','Course Name']])
df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])
使用factorize
最后,再介绍一个小众但好用的pandas
方法,我们需要注意到,在上面的方法中,自动生成的Course Name_Label
列,虽然一个数据对应一个语言,因为避免写自定义函数或者字典,这样可以自动生成,所以大多是无序的。
如果我们希望它是有序的,也就是 Python
对应 0
,Java
对应1
,除了自己指定,还有什么优雅的办法?这时可以使用factorize
,它会根据出现顺序进行编码
df10 = df.copy()
df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]
结合匿名函数,我们可以做到对多列进行有序编码转换
df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns
df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
lambda x: pd.factorize(x)[0])
来源:https://mp.weixin.qq.com/s/ehnmV0zgq3lXnCUr-UqEYg
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python3.x版本中新的字符串格式化方法
如何用Python搭建gRPC服务
![](https://img.aspxhome.com/file/2023/3/92333_0s.png)
基于Opencv图像识别实现答题卡识别示例详解
![](https://img.aspxhome.com/file/2023/8/82538_0s.jpg)
总结Python变量的相关知识
![](https://img.aspxhome.com/file/2023/2/110602_0s.png)
Python爬虫实战之爬取京东商品数据并实实现数据可视化
![](https://img.aspxhome.com/file/2023/3/120363_0s.png)
Python各种扩展名区别点整理
关于pycharm中pip版本10.0无法使用的解决办法
![](https://img.aspxhome.com/file/2023/9/85019_0s.jpg)
Pytorch提取模型特征向量保存至csv的例子
进一步理解Python中的函数编程
Ubuntu20下的Django安装的方法步骤
![](https://img.aspxhome.com/file/2023/5/81705_0s.png)
Web脚本开发语言比较
Python爬虫进阶Scrapy框架精文讲解
![](https://img.aspxhome.com/file/2023/3/95833_0s.jpg)
解析arp病毒背后利用的Javascript技术
XHTML1.0规范:您是否为img图片标签赋予alt属性
![](https://img.aspxhome.com/file/UploadPic/20099/21/2009921111528400s.gif)
python图片验证码识别最新模块muggle_ocr的示例代码
什么是Python变量作用域
python 通过SSHTunnelForwarder隧道连接redis的方法
一个完美网站的101项指标.第七部分.W3C标准
python条件变量之生产者与消费者操作实例分析
![](https://img.aspxhome.com/file/2023/6/115496_0s.jpg)