Python读取pdf表格写入excel的方法

作者:一只阔爱的程序媛 时间:2023-08-25 12:33:18 

背景

今天突然想到之前被要求做同性质银行的数据分析。妈耶!十几个银行,每个银行近5年的财务数据,而且财务报表一般都是 pdf 的,我们将 pdf 中表的数据一个个的拷贝到 excel 中,再借助 excel 去进行求和求平均等聚合函数操作,完事了还得把求出来的结果再统一 CV 到另一张表中,进行可视化分析…

当然,那时风流倜傥的 老Amy 还熟练的玩转着 excel ,也是个秀儿~ 今天就思索着,如果当年我会 Python 是不是可以让我成为班级最靓的崽!用技术占领高地,HHH,所以今天我来了,希望可以帮助大家解决同性质的问题。

开始学习叭

避免CV *

pdf 文件的表格的数据可以复制,但是这是一项非常繁琐的事情。所以我首先考虑的是,Python 可否帮助我们高效且规范地读取 pdf 中的表格数据。所以一顿的检索,发现了一个比较优质处理 pdf 的库:pdfplumber,当然这个库需要大家 pip install pdfplumber 去进行安装。以及详细使用可参考全球最大 * 社区:https://github.com/jsvine/pdfplumber

步骤:

  • 导入 pdfplumber 库

  • 通过 pdfplumber.open() 函数 获取 mt2018.pdf 文件对象

  • 通过该 对象.pages 获取 pdf 每页的对象,截取我们需要的页对象即可

  • 通过 页对象.extract_tables() 获取表格数据(若需要获取文本:页对象.extract_text())

代码实现:


import pdfplumber

# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:

# 只提取当前页表格数据
 print(pdf_pg.extract_tables())

--------------------------------------------------------------------------
结果比较多,截取一部分:
[[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]]

将完整表保存到 csv 文件中

我们发现,返回的数据集是一个三维的列表。那么在我们平时处理的 excel 表格数据(行与列)都是二维的数据。那么,这多出的一维是什么呢?其实就是我们的夜[页]~ 再来一个循环取出二维数据进行保存即可


for pdf_pg in pdf_mt.pages[50:53]:
 for pdf_tb in pdf_pg.extract_tables():
   print(pdf_tb)

------------------------------------------------------------------------------
结果比较多,截取一部分:
[['项目', '附注', '期末余额', '期初余额'], ['流动资产:', '', '', ''], ['货币资金', '1', '112,074,791,420.06', '87,868,869,913.34'], ['结算备付金', '', '', ''], ['拆出资金', '', '', ''], ['以公允价值计量且其变动计入当\n期损益的金融资产', '', '', ''], ['衍生金融资产', '', '', ''], ['应收票据及应收账款', '2', '563,739,710.00', '1,221,706,039.00']]

但是,真的那么简单吗?这时,我们就需要细品我们的 pdf 了,如下图

Python读取pdf表格写入excel的方法

我们发现,一张完整的资产负债表分布在多页上。也就是说,每一页的里面的表格数据都是一个三维的列表,所以我们保存数据的时候,需要让其有共同的表头(列索引),并且进行拼接。

那必须就要强推我们的 pandas 了,pandas.DataFrame() 非常完美的创建表格式的二维数组,以及指定列索引(表头)。包括可以直接 使用 df.append() 进行共同表头数据的堆叠拼接。


import pdfplumber
import pandas as pd
import numpy as np

# 创建仅有表头的 dataframe 数组
pdf_df = pd.DataFrame(columns=['项目', '附注', '期末余额', '期初余额'])

# 获取 pdf 文件对象
pdf_mt = pdfplumber.open("mt2018.pdf")

# 因为我需要获取的资产负债表在 51-53页 但是索引从0开始 所以切片取 50-52即可
for pdf_pg in pdf_mt.pages[50:53]:

# 获取二维列表
 for pdf_tb in pdf_pg.extract_tables():

# 将其拼接
   pdf_df = pdf_df.append(pd.DataFrame(np.array(pdf_tb),columns=['项目', '附注', '期末余额', '期初余额']))

# 显示后五条
pdf_df.tail()

dataframe数据输出如下:

Python读取pdf表格写入excel的方法

pdf 53页如下:

Python读取pdf表格写入excel的方法

实际上,大家也发现,我们获取的最后一页的数据还有一部分是另一个表的,所以我们需要将其去除,并且有序的设置行索引,再保存到 csv 文件中。


# 去除后三行
pdf_df = pdf_df.iloc[:-3,:]

# 重置索引
pdf_df = pdf_df.reset_index(drop=True)

# 保存到 csv 文件中
pdf_df.to_csv("mt_2018.csv")

Python读取pdf表格写入excel的方法

当然,今天就到这里,其它的需求我们下次给大家完善。大家也可以自己将代码封装成函数,这样就可以实现传入 pdf文件名称、页数以及保存的文件名来复用代码。如果大家再掌握了 pandas 就可以根据自己的需求,对各个表格数据进行处理。再结合 seaborn 绘图可视化,完爆 excel ~ 快学习起来叭,GOGOGO

来源:https://blog.csdn.net/weixin_44352981/article/details/107476429

标签:python,读取,pdf,写入,excel
0
投稿

猜你喜欢

  • 用Python的Tornado框架结合memcached页面改善博客性能

    2023-07-21 09:14:20
  • 永不熄灭的爱心图标——腾讯公益月捐计划 “QQ首席图标”诞生记

    2009-09-01 19:43:00
  • Oracle下的Java分页功能_动力节点Java学院整理

    2024-01-20 16:34:00
  • OpenCV-Python实现腐蚀与膨胀的实例

    2023-06-05 18:07:07
  • Python使用Crypto库实现加密解密的示例详解

    2021-11-10 05:53:10
  • python排序方法实例分析

    2023-04-07 12:52:05
  • 设计输入了些什么?

    2008-04-02 11:16:00
  • MySQL如何使用使用Xtrabackup进行备份和恢复

    2024-01-24 14:45:49
  • Python3监控疫情的完整代码

    2023-09-24 09:53:19
  • Python中22个万用公式的小结

    2022-12-15 21:06:38
  • Python入门教程(三十六)Python的文件写入

    2023-04-30 11:27:48
  • MySQL数据库搜索中的大小写敏感性

    2008-11-24 12:44:00
  • 基于Python实现一个简单的学生管理系统

    2023-07-23 23:06:40
  • python如何获取apk的packagename和activity

    2023-07-11 20:50:19
  • Python Web框架Flask下网站开发入门实例

    2023-10-01 16:31:50
  • oracle远程连接服务器数据库图文教程

    2023-07-12 22:22:37
  • 清理Mysql general_log的方法总结

    2024-01-14 10:54:34
  • Python使用htpasswd实现基本认证授权的例子

    2022-05-07 06:43:17
  • Python requests模块cookie实例解析

    2023-11-18 15:44:56
  • javascript中字符串替换函数replace()方法与c# 、vb 替换有一点不同

    2024-05-05 09:32:00
  • asp之家 网络编程 m.aspxhome.com