配置python连接oracle读取excel数据写入数据库的操作流程

作者:万金油的kplin 时间:2024-01-14 02:30:31 

前提条件:本地已经安装好oracle单实例,能使用plsql developer连接,或者能使用TNS连接串远程连接到oracle集群

读取excel写入数据库的方式有多种,这里介绍的是使用pandas写入,相对来说比较简便,不需要在读取excel后再去整理数据

整个过程需要分两步进行:

一、配置python连接oracle并测试成功

网上有不少教程,但大部分都没那么详细,并且也没有说明连接单实例和连接集群的区别,这里先介绍连接oracle单实例的方式,后续再补充连接oracle集群方式。

版本:
window 10 64位
python 3.6.8
cx-Oracle 7.3.0

安装流程:

1、使用pip安装操作oracle的包:

pip install cx_Oracle==7.3.0

配置python连接oracle读取excel数据写入数据库的操作流程

2、手动配置cx_Oracle临时客户端:

注意这里电脑是64位的,使用的即时客户端也是64位的,32位的需要另外到下面的下载地址找一下

2.1、解压下面的文件

链接: https://pan.baidu.com/s/12iMCBjKvl-Lao9iOHMT-yw

提取码: pxmq

配置python连接oracle读取excel数据写入数据库的操作流程

oracle即时客户端使用说明:
https://docs.oracle.com/en/database/oracle/oracle-database/19/lnoci/instant-client.html#GUID-6895DB45-97AA-4738-9959-BD677D610186
oracle即时客户端下载地址:
https://www.oracle.com/database/technologies/instant-client/downloads.html

2.2、放置到D盘某个位置,例如:

配置python连接oracle读取excel数据写入数据库的操作流程

2.3、配置环境变量

控制面板——系统和安全——系统

配置python连接oracle读取excel数据写入数据库的操作流程
配置python连接oracle读取excel数据写入数据库的操作流程
配置python连接oracle读取excel数据写入数据库的操作流程
配置python连接oracle读取excel数据写入数据库的操作流程

2.4、重启电脑,让新配置的环境变量生效

2.5、测试配置是否成功

虽然导入cx_Oracle有红色波浪线,一般认为导入不成功,但这里可以先不管它,直接运行测试代码,没有报错说明没问题。
如果没有查到数据,也可能是该用户下没有emp表。


import cx_Oracle
import os

# 设置环境编码方式,可解决读取数据库中文乱码问题
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'

# 用户名/密码@IP:端口/实例名
conn = cx_Oracle.connect('kplin/12sss3456@192.168.124.102:1521/ORCL')

cursor = conn.cursor()

try:
 sql = 'select * from emp'
 cursor.execute(sql)
 ret = cursor.fetchall()
 print(ret)
 # cursor.commit()
except Exception as e:
 print(e)
finally:
 cursor.close()

配置python连接oracle读取excel数据写入数据库的操作流程

二、使用pandas读取excel数据,使用sqlalchemy协助写入数据库

1、安装sqlalchemy,pandas

这里指定pandas版本是因为最新版的pandas在读写excel的时候会有些奇怪的报错,换成1.1.4版本即可。


pip install pandas==1.1.4
pip install sqlalchemy

2、准备一个excel表,命名为test.xlsx,写入以下测试数据

配置python连接oracle读取excel数据写入数据库的操作流程

3、测试读取并写入数据库


#!/usr/bin/env python
# -*- coding:utf-8 -*-
# date: 2021/3/14
# filename: excel_to_db
# author: kplin

import pandas as pd
from sqlalchemy import create_engine
from sqlalchemy import types

# conn_string='oracle+cx_oracle://user:pass@host:port/dbname'
conn_string='oracle+cx_oracle://KPLIN:654321@192.168.124.6:1521/ORCL'
engine = create_engine(conn_string, echo=False)

df = pd.read_excel('test.xlsx')
# if_exists有三个可选值,'fail':如果存在该表则报错,'append':如果存在该表则将数据追加到列尾,'replace':如果存在该表则替换
# df.to_sql('test', con=engine, if_exists='replace')

# 按上面这种写入方式name字段将被写成clob字段类型,
# 如果我们希望把name改为varchar2类型,怎么做?
# 我们可以利用sqlalchemy的types把name指定为varchar2()类型
len = df.name.str.len().max()
df.to_sql('test', engine, if_exists='replace', dtype={'name': types.VARCHAR(len)})

rows = engine.execute("SELECT * FROM TEST").fetchall()

print(rows)

来源:https://blog.csdn.net/Jacky_kplin/article/details/114908281

标签:python,excel数据,oracle数据库
0
投稿

猜你喜欢

  • ASP文件中的安全问题

    2011-04-14 11:15:00
  • 简述Asp与XML之间的关系

    2008-04-17 10:46:00
  • Python与Appium实现手机APP自动化测试的示例代码

    2023-07-26 05:06:07
  • django 实现电子支付功能的示例代码

    2022-01-31 01:30:34
  • 如何让Visual Studio用上chatgpt

    2023-09-14 00:54:50
  • 解读MySQL的InnoDB引擎日志工作原理

    2011-01-04 19:59:00
  • PyQt5实现数据的增删改查功能详解

    2021-03-30 06:50:07
  • Python进行区间取值案例讲解

    2021-10-23 15:17:34
  • 如何使用Oracle PL/SQL 实现发送电子邮件功能(UTL_MAIL)

    2024-01-17 19:32:18
  • 在matplotlib中改变figure的布局和大小实例

    2022-07-09 00:45:11
  • JS简单获取并修改input文本框内容的方法示例

    2024-05-10 14:07:59
  • python画图中文不显示问题的解决方法

    2023-05-30 14:07:09
  • 使用python+Flask实现日志在web网页实时更新显示

    2021-03-15 10:16:30
  • 详解ES6之async+await 同步/异步方案

    2023-08-24 11:10:54
  • Kibo 用于处理键盘事件的Javascript工具库

    2024-04-10 10:45:53
  • 如何列出SQL数据库中的存储过程?

    2010-01-12 19:58:00
  • 表单制作方式大比拼

    2008-10-09 11:32:00
  • Python 模拟死锁的常见实例详解

    2022-08-02 04:57:18
  • 一文带你理解MySql中explain结果filtered

    2024-01-19 23:01:35
  • python字符串不可变数据类型

    2021-04-14 23:07:09
  • asp之家 网络编程 m.aspxhome.com