Python使用pandas将表格数据进行处理

作者:IT之一小佬 时间:2023-10-08 06:23:55 

前言

任务描述:

当前有一份excel表格数据,里面存在缺失值,需要对缺失的数据到es数据库中进行查找并对其进行把缺失的数据进行补全。

excel表格数据如下所示:

Python使用pandas将表格数据进行处理

一、构建es库中的数据

1.1 创建索引

# 创建physical_examination索引
PUT /physical_examination
{
 "settings": {
   "index": {
     "number_of_shards": "1",
     "number_of_replicas": "1"
   }
 },
 "mappings": {
   "properties": {
     "nums": {
       "type": "integer"
     },
     "name": {
       "type": "text"
     },
     "sex": {
       "type": "text"
     },
     "phone": {
       "type": "integer"
     },
     "result": {
       "type": "text"
     }
   }
 }
}

Python使用pandas将表格数据进行处理

1.2 插入数据

注意:json数据不能格式化换行,否则报错】

# 向physical_examination索引中添加数据
POST physical_examination/_bulk
{"index":{"_id":"1"}}
{"nums":1,"name":"刘一","sex":"男","phone":1234567891,"result":"优秀"}
{"index":{"_id":"2"}}
{"nums":2,"name":"陈二","sex":"男","phone":1234567892,"result":"优秀"}
{"index":{"_id":"3"}}
{"nums":3,"name":"张三","sex":"男","phone":1234567893,"result":"优秀"}
{"index":{"_id":"4"}}
{"nums":4,"name":"李四","sex":"男","phone":1234567894,"result":"优秀"}
{"index":{"_id":"5"}}
{"nums":5,"name":"王五","sex":"男","phone":1234567895,"result":"优秀"}

Python使用pandas将表格数据进行处理

Python使用pandas将表格数据进行处理

Python使用pandas将表格数据进行处理

1.3 查询数据

注意:默认查询索引下的所有数据】

# 查询索引中的所有数据
GET physical_examination/_search
{
 "query": {
   "match_all": {}
 }
}

Python使用pandas将表格数据进行处理

Python使用pandas将表格数据进行处理

二、对excel表格中的数据处理操作

2.1 导出es查询的数据

  • 方法一:直接在kibana或postman查询的结果中进行复制粘贴到一个文档。

  • 方法二:使用kibana导出数据。

  • 方法三:使用postman导出数据保存到本地。

Python使用pandas将表格数据进行处理

使用python处理数据,获取需要的数据。

示例代码:

# 读取json中体检信息
with open('./data/physical_examination.json', 'r', encoding='utf-8') as f:
   data_json = f.read()
print(data_json)

# 处理json数据中的异常数据
if 'false' in data_json:
   data_json = data_json.replace('false', "False")

data_json = eval(data_json)
print(data_json)

print(data_json['hits']['hits'])
print('*' * 100)

valid_data = data_json['hits']['hits']
need_data = []
for data in valid_data:
   print(data['_source'])
   need_data.append(data['_source'])
print(need_data)

读取缺失数据的excel表格,把缺失的数据填补进去。

# 读取需要填补数据的表格
data_xlsx = pd.read_excel('./data/体检表.xlsx', sheet_name='Sheet1')
# print(data_xlsx)

# 获取excel表格的行列
row, col = data_xlsx.shape
print(row, col)

# 修改表格中的数据
for i in range(row):
   bb = data_xlsx.iloc[i]
   print(bb['姓名'], bb['手机号'])
   if pd.isnull(bb['手机号']):
       bb['手机号'] = '666'
       for cc in need_data:
           if cc['name'] == bb['姓名']:
               bb['手机号'] = cc['phone']
           data_xlsx.iloc[i, 3] = bb['手机号']
   print(bb['姓名'], bb['手机号'])
   print("-" * 100)
print(data_xlsx)

将最终处理好的数据保存在新建的文件中。

# 保存数据到新文件中
data_xlsx.to_excel('./data/new_data.xlsx', sheet_name='Sheet1', index=False, header=True)

完整代码如下:

import pandas as pd

# 读取json中体检信息
with open('./data/physical_examination.json', 'r', encoding='utf-8') as f:
   data_json = f.read()
print(data_json)

# 处理json数据中的异常数据
if 'false' in data_json:
   data_json = data_json.replace('false', "False")

data_json = eval(data_json)
print(data_json)

print(data_json['hits']['hits'])
print('*' * 100)

valid_data = data_json['hits']['hits']
need_data = []
for data in valid_data:
   print(data['_source'])
   need_data.append(data['_source'])
print(need_data)

# 读取需要填补数据的表格
data_xlsx = pd.read_excel('./data/体检表.xlsx', sheet_name='Sheet1')
# print(data_xlsx)

# 获取excel表格的行列
row, col = data_xlsx.shape
print(row, col)

# 修改表格中的数据
for i in range(row):
   bb = data_xlsx.iloc[i]
   print(bb['姓名'], bb['手机号'])
   if pd.isnull(bb['手机号']):
       bb['手机号'] = '666'
       for cc in need_data:
           if cc['name'] == bb['姓名']:
               bb['手机号'] = cc['phone']
           data_xlsx.iloc[i, 3] = bb['手机号']
   print(bb['姓名'], bb['手机号'])
   print("-" * 100)
print(data_xlsx)

# 保存数据到新文件中
data_xlsx.to_excel('./data/new_data.xlsx', sheet_name='Sheet1', index=False, header=True)

运行效果,最终处理好的数据如下所示:

Python使用pandas将表格数据进行处理

来源:https://blog.csdn.net/weixin_44799217/article/details/126559956

标签:Python,pandas,表格,数据,处理
0
投稿

猜你喜欢

  • sqlserver 触发器实例代码

    2012-01-29 18:30:45
  • 让ASP组件来保护你的网站,自定义加密方法的使用

    2009-11-07 19:27:00
  • Python的垃圾回收机制详解

    2023-06-03 16:03:24
  • python单线程文件传输的实例(C/S)

    2023-04-07 22:45:48
  • oracle 存储过程和触发器复制数据

    2024-01-19 19:27:46
  • IE6与IE7的unshift 方法

    2010-01-19 13:59:00
  • 亲手教你怎样创建一个简单的mysql数据库

    2024-01-18 21:59:04
  • 使用Python+Appuim 清理微信的方法

    2021-05-24 12:22:05
  • python设计模式之装饰器模式

    2023-04-28 07:55:40
  • SQL Server错误代码大全及解释(留着备用)

    2012-07-11 16:17:03
  • Django设置Postgresql的操作

    2021-10-23 09:59:56
  • python与字符编码问题

    2022-09-02 01:08:45
  • ASP程序中调用函数Now()显示上午下午的问题

    2009-08-27 13:09:00
  • 三行代码使用Python将视频转Gif的方法示例

    2021-02-28 13:53:39
  • MySQL事务处理与应用简析

    2024-01-21 09:01:24
  • Beego中ORM操作各类数据库连接方式详细示例

    2024-01-20 08:07:07
  • Python 解决logging功能使用过程中遇到的一个问题

    2023-05-25 11:31:05
  • msxml3.dll 错误解决办法

    2009-05-25 18:02:00
  • Python中处理时间的几种方法小结

    2021-03-15 17:58:33
  • Python 调用 C++ 传递numpy 数据详情

    2021-05-12 20:00:39
  • asp之家 网络编程 m.aspxhome.com