Python进行特征提取的示例代码

作者:陆勤_数据人网 时间:2021-04-07 15:59:12 


#过滤式特征选择
#根据方差进行选择,方差越小,代表该属性识别能力很差,可以剔除
from sklearn.feature_selection import VarianceThreshold
x=[[100,1,2,3],
 [100,4,5,6],
 [100,7,8,9],
 [101,11,12,13]]
selector=VarianceThreshold(1) #方差阈值值,
selector.fit(x)
selector.variances_ #展现属性的方差
selector.transform(x)#进行特征选择
selector.get_support(True) #选择结果后,特征之前的索引
selector.inverse_transform(selector.transform(x)) #将特征选择后的结果还原成原始数据
                        #被剔除掉的数据,显示为0

#单变量特征选择
from sklearn.feature_selection import SelectKBest,f_classif
x=[[1,2,3,4,5],
 [5,4,3,2,1],
 [3,3,3,3,3],
 [1,1,1,1,1]]
y=[0,1,0,1]
selector=SelectKBest(score_func=f_classif,k=3)#选择3个特征,指标使用的是方差分析F值
selector.fit(x,y)
selector.scores_ #每一个特征的得分
selector.pvalues_
selector.get_support(True) #如果为true,则返回被选出的特征下标,如果选择False,则
             #返回的是一个布尔值组成的数组,该数组只是那些特征被选择
selector.transform(x)

#包裹时特征选择
from sklearn.feature_selection import RFE
from sklearn.svm import LinearSVC #选择svm作为评定算法
from sklearn.datasets import load_iris #加载数据集
iris=load_iris()
x=iris.data
y=iris.target
estimator=LinearSVC()
selector=RFE(estimator=estimator,n_features_to_select=2) #选择2个特征
selector.fit(x,y)
selector.n_features_  #给出被选出的特征的数量
selector.support_   #给出了被选择特征的mask
selector.ranking_   #特征排名,被选出特征的排名为1

#注意:特征提取对于预测性能的提升没有必然的联系,接下来进行比较;
from sklearn.feature_selection import RFE
from sklearn.svm import LinearSVC
from sklearn import cross_validation
from sklearn.datasets import load_iris

#加载数据
iris=load_iris()
X=iris.data
y=iris.target
#特征提取
estimator=LinearSVC()
selector=RFE(estimator=estimator,n_features_to_select=2)
X_t=selector.fit_transform(X,y)
#切分测试集与验证集
x_train,x_test,y_train,y_test=cross_validation.train_test_split(X,y,
                 test_size=0.25,random_state=0,stratify=y)
x_train_t,x_test_t,y_train_t,y_test_t=cross_validation.train_test_split(X_t,y,
                 test_size=0.25,random_state=0,stratify=y)

clf=LinearSVC()
clf_t=LinearSVC()
clf.fit(x_train,y_train)
clf_t.fit(x_train_t,y_train_t)
print('origin dataset test score:',clf.score(x_test,y_test))
#origin dataset test score: 0.973684210526
print('selected Dataset:test score:',clf_t.score(x_test_t,y_test_t))
#selected Dataset:test score: 0.947368421053

import numpy as np
from sklearn.feature_selection import RFECV
from sklearn.svm import LinearSVC
from sklearn.datasets import load_iris
iris=load_iris()
x=iris.data
y=iris.target
estimator=LinearSVC()
selector=RFECV(estimator=estimator,cv=3)
selector.fit(x,y)
selector.n_features_
selector.support_
selector.ranking_
selector.grid_scores_

#嵌入式特征选择
import numpy as np
from sklearn.feature_selection import SelectFromModel
from sklearn.svm import LinearSVC
from sklearn.datasets import load_digits
digits=load_digits()
x=digits.data
y=digits.target
estimator=LinearSVC(penalty='l1',dual=False)
selector=SelectFromModel(estimator=estimator,threshold='mean')
selector.fit(x,y)
selector.transform(x)
selector.threshold_
selector.get_support(indices=True)

#scikitlearn提供了Pipeline来讲多个学习器组成流水线,通常流水线的形式为:将数据标准化,
#--》特征提取的学习器————》执行预测的学习器,除了最后一个学习器之后,
#前面的所有学习器必须提供transform方法,该方法用于数据转化(如归一化、正则化、
#以及特征提取
#学习器流水线(pipeline)
from sklearn.svm import LinearSVC
from sklearn.datasets import load_digits
from sklearn import cross_validation
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
def test_Pipeline(data):
 x_train,x_test,y_train,y_test=data
 steps=[('linear_svm',LinearSVC(C=1,penalty='l1',dual=False)),
     ('logisticregression',LogisticRegression(C=1))]
 pipeline=Pipeline(steps)
 pipeline.fit(x_train,y_train)
 print('named steps',pipeline.named_steps)
 print('pipeline score',pipeline.score(x_test,y_test))

if __name__=='__main__':
 data=load_digits()
 x=data.data
 y=data.target
 test_Pipeline(cross_validation.train_test_split(x,y,test_size=0.25,
                 random_state=0,stratify=y))

来源:https://cloud.tencent.com/developer/article/1708304

标签:python,特征提取
0
投稿

猜你喜欢

  • Python装饰器用法实例总结

    2023-11-18 07:37:36
  • Access的特点及其概念问答

    2009-09-10 19:00:00
  • 纯JS实现动态时间显示代码

    2024-05-02 17:31:34
  • Python图像处理之使用OpenCV检测对象颜色

    2023-05-20 01:00:18
  • JavaScript实现隐藏省略文字效果的方法

    2024-03-18 20:35:29
  • 安装Pycharm2019以及配置anconda教程的方法步骤

    2021-10-04 18:43:08
  • Golang通脉之流程控制详情

    2024-02-20 06:56:34
  • sql server 中删除默认约束的通用sql脚本

    2009-02-01 17:23:00
  • python批量检查两个对应的txt文件的行数是否一致的实例代码

    2023-10-24 07:56:48
  • js点击事件的执行过程实例分析【冒泡与捕获】

    2024-02-27 07:53:34
  • CSS 设计中的黄金分割率应用

    2008-11-12 12:17:00
  • asp如何统计字符串出现的次数?

    2009-11-25 20:36:00
  • mysql创建数据库,添加用户,用户授权实操方法

    2024-01-14 18:16:58
  • JavaScript实现图片放大预览效果

    2023-08-23 02:41:17
  • 天极网页版式设计的思考

    2008-01-18 12:44:00
  • python sys,os,time模块的使用(包括时间格式的各种转换)

    2021-02-08 02:31:33
  • Python实战之外星人入侵游戏示例代码

    2023-12-23 08:18:18
  • js鼠标动画特效

    2007-09-26 18:31:00
  • jQuery代码的14条改善技巧[译]

    2009-12-02 10:02:00
  • 使用 MySQL Date/Time 类型

    2024-05-13 09:21:22
  • asp之家 网络编程 m.aspxhome.com