Python实现类别变量的独热编码
作者:疯狂学习GIS 发布时间:2023-10-17 02:37:33
在数据处理与分析领域,对数值型与字符型类别变量加以编码是不可或缺的预处理操作;这里介绍两种不同的方法。
1 OneHotEncoder
首先导入必要的模块。
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
其中,OneHotEncoder
是我们实现独热编码的关键模块。
接下来,导入并显示数据前五行。
test_data_1=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
test_data_1.head(5)
关于这里导入数据代码的解释,大家可以查看多变量两两相互关系联合分布图的Python绘制与Python TensorFlow深度学习回归代码:DNNRegressor这两篇文章,这里就不再赘述啦~
数据前五行展示如下图。其中,前两列'EVI0610'
与'EVI0626'
为数值型连续变量,而'SoilType'
为数值型类别变量。我们要做的,也就是将第三列'SoilType'
进行独热编码。
接下来,进行独热编码的配置。
ohe=OneHotEncoder(handle_unknown='ignore')
ohe.fit(test_data_1)
在这里,第一行是对独热编码的配置,第二行则是对我们刚刚导入的数据进行独热编码处理。得到一个独热编码配置的输出结果。
接下来,看看独热编码处理后,将我们的数据分成了哪些类别。
ohe.categories_
得到结果如下图。
可以发现,一共有三个array
,为什么呢?仔细看可以发现,独热编码是将我们导入的三列数据全部都当作类别变量来处理了。之所以会这样,是因为我们在一开始没有表明哪一列是类别变量,需要进行独热编码;而哪一列不是类别变量,从而不需要进行独热编码。
那么,我们如何实现上述需求,告诉程序我们要对哪一行进行独热编码呢?在老版本的sklearn
中,我们可以借助categorical_features=[x]
参数来实现这一功能,但是新版本sklearn
取消了这一参数。那么此时,一方面,我们可以借助ColumnTransformer
来实现这一过程,另一方面,我们可以直接对需要进行转换的列加以处理。后者相对较为容易理解,因此本文对后者进行讲解。
我们将test_data_1
中的'SoilType'
列作为索引,从而仅仅对该列数据加以独热编码。
ohe_column=pd.DataFrame(ohe.fit_transform(test_data_1[['SoilType']]).toarray())
ohe_column.head(5)
其中,[['SoilType']]
表示仅仅对这一列进行处理。得到结果如下图。
可以看到,原来的'SoilType'
列现在成为了63
列的编码列,那么这样的话,说明我们原先的'SoilType'
应该一共是有63
个不同的数值。是不是这个样子呢?我们来检查一下。
count=pd.DataFrame(test_data_1['SoilType'].value_counts())
print(count)
得到结果如下。
好的,没有问题:可以看到此结果共有63
行,也就是'SoilType'
列原本是有63
个不同的值的,证明我们的独热编码没有出错。
此时看一下我们的test_data_1
数据目前长什么样子。
test_data_1.head(5)
是的,我们仅仅对'SoilType'
列做了处理,没有影响到整个初始数据。那么先将原本的'SoilType'
列剔除掉。
test_data_1=test_data_1.drop(['SoilType'],axis=1)
test_data_1.head(5)
再将经过独热编码处理后的63
列加上。
test_data_1.join(ohe_column)
大功告成!
但是这里还有一个问题,我们经过独热编码所得的列名称是以数字来命名的,非常不方便。因此,有没有什么办法可以在独热编码进行的同时,自动对新生成的列加以重命名呢?
2 pd.get_dummies
pd.get_dummies
是一个最好的办法!其具体用法与上述OneHotEncoder
类似,因此具体过程就不再赘述啦,大家看代码就可以明白。
首先还是导入与上述内容中一致的初始数据。
test_data_2=pd.read_csv('G:/CropYield/03_DL/00_Data/onehot_test.csv',names=['EVI0610','EVI0626','SoilType'],header=0)
test_data_2.head(5)
进行独热编码并看看结果。
test_data_2_ohe=pd.get_dummies(test_data_2,columns=['SoilType'])
test_data_2_ohe.head(5)
最终结果中,列名称可以说是非常醒目,同时,共有65
列数据,自动删除了原本的'SoilType'
列,实现了“独热编码”“新列重命名”与“原始列删除”,可谓一举三得,简直是太方便啦~
来源:https://www.cnblogs.com/fkxxgis/p/17122059.html
猜你喜欢
- 今天成功把易语言调用验证码通杀的DLL在Python中成功调用了特此共享出来,下面是识别截图:识别方法1:"""
- 本文实例讲述了Python实现的使用telnet登陆聊天室。分享给大家供大家参考。具体如下:前久在家学习Python的时候写的一个简单的聊天
- 请问如何从ASP连接到Oracle Server?可用下面的代码进行连接: <%@ Lan
- 使用golang并发求和,作为对golang并发的一个练习.为了验证结果的正确性,要给出最传统的版本:func sum1(data []in
- 本文实例讲述了JavaScript中String.prototype用法。分享给大家供大家参考。具体如下:// 返回字符的长度,一个中文算2
- 在过去的十年中,MySQL已经成为广受欢迎的数据库,而WordPress博客使用的是MySQL数据库,虽然使用插件可以解决一些问题,但是实现
- 前言最近由于换工作,开始交接工作。整理以前的工作内容,由于组内就我一个在做go和大数据。 所以开发没有规划,当时是怎么快怎么来。go也是使用
- 效果如下,dialog中内容自行添加<template> <div> <div class="dia
- 如今,体育运动的热潮日益流行。同样,以不正确的方式进行运动的风险也在增加。有时可能会导致严重的伤害。考虑到这些原因,提出一种以分析运动员的关
- 本文实例讲述了PHP实现的AES加密、解密封装类与用法。分享给大家供大家参考,具体如下:<?php/** * Class AES *
- 装对的插件,如虎添翼硬肝的人生,慎重肾重Eclipse安装插件商店安装:help - About Eclipse - Installatio
- 前言通常在读写文件之前,我们需要先判断文件或者目录是否存在。不然在接下来的处理中可能会报错。所以在做任何操作之前,最好还是先判断文件、目录是
- golang是一种强类型语言,虽然在代码中经常看到这种写法,i:=10这其实这是编译器自动做了类型推断在编译期间。编译器会对数据进行类型检查
- 在腾讯云上面搭建的mysql使用开发的电脑上navicat进行访问时总是特别的慢,原来是Mysql会对请求的地址进行域名解析,开发的电脑并没
- 目录一、数据库瓶颈二、分库分表2、水平分表3、垂直分库4、垂直分表三、分库分表工具四、分库分表步骤五、分库分表问题1、非partition
- 最近和一程序员合作项目。弄的我头都大了~埋怨我的CSS命名看不懂~得按照他的来。结果我打开他的页面,看了看,从头第一个开始就是content
- 安装request库以火车的站站查询为例的post和get方法的接口测试使用pytest测试接口1、requests的请求机制1、安装req
- 定义流的作用是使用统一的方式处理文件、网络和数据压缩等共用同一套函数和用法的操作。简单而言,流是具有流式行为的资源对象。因此,流可以线性读写
- 文通过一个操作实例来说明SQL中主标识列IDENTITY的使用技巧。要求:在 sql server 2005中,建立数据表book,在表bo
- perl用的最多的地方就算是文件处理了,下面我就总结了一下perl文件操作的一些东西,并且有具体的例子,通过下面的例子,加强我们对perl文