python通用数据库操作工具 pydbclib的使用简介
作者:taogeYT 时间:2024-01-24 14:24:16
pydbclib是一个通用的python关系型数据库操作工具包,使用统一的接口操作各种关系型数据库(如 oracle、mysql、postgres、hive、impala等)进行增删改查,它是对各个python数据库连接驱动包(如sqlalchemy、pymysql、cx_Oracle、pyhive、pyodbc、impala等)的封装,依照python最简原则SQL占位符统一成 ':[name]' 这一种形式,这点和sqlalchemy是一样的
安装
pip3 install pydbclib
简单使用
看下简单的查询示例
from pydbclib import connect
# 使用with上下文,可以自动提交,自动关闭连接
with connect("sqlite:///:memory:") as db:
db.execute('create table foo(a integer, b varchar(20))')
# 统一使用':[name]'形式的SQL的占位符
db.execute("insert into foo(a,b) values(:a,:b)", [{"a": 1, "b": "one"}]*4)
print(db.read("select * from foo").get_one())
print(db.read("select * from foo").get_all())
print(db.read("select * from foo").to_df())
db.get_table("foo").insert({"a": 2, "b": "two"})
print(db.get_table("foo").find_one({"a": 2}))
print(db.get_table("foo").find().get_all())
print(db.get_table("foo").find().to_df())
查询结果记录是以字典形式展现,向库里写入记录也是字典形式,如果要使用原生元祖形式,查询函数read里添加as_dict=False参数
接口文档
数据库连接,更多常用数据库连接方式参考文章结尾
# connect函数有个driver参数决定你是通过哪个数据库驱动包去连接的
# driver参数默认值是sqlalchemy,即通过sqlalchemy驱动包连接数据库
>>> db = pydbclib.connect("sqlite:///:memory:")
>>> db = pydbclib.connect(":memory:", driver='sqlite3')
# 也可以传入驱动包连接对象
>>> import sqlite3
>>> db = pydbclib.connect(driver=sqlite3.connect(":memory:"))
>>> from sqlalchemy import create_engine
>>> db = pydbclib.connect(driver=create_engine("sqlite:///:memory:"))
原生SQL接口
1. 使用execute方法执行SQL,和各数据库连接包基本一致,不同点是它既可以单条执行,也可以批量执行(相当于executemany),另外该方法的SQL占位符是':[name]'形式
>>> record = {"a": 1, "b": "one"}
>>> db.execute('create table foo(a integer, b varchar(20))')
# 插入单条记录,结果返回影响行数
>>> db.execute("insert into foo(a,b) values(:a,:b)", record)
1
# 插入多条记录
>>> db.execute("insert into foo(a,b) values(:a,:b)", [record, record])
2
2. 查询数据
# 查询结果只返回一条记录
>>> db.read_one("select * from foo")
{'a': 1, 'b': 'one'}
#read返回迭代器类型,用get方法获取前几条记录,使用map对每条记录进行数据清洗
>>> db.read("select * from foo").map(lambda x: {f"foo.{k}": v for k,v in x.items()}).get(2)
# as_dict=False返回原生元祖记录
>>> db.read("select * from foo", as_dict=False).get(2)
[(1, 'one'), (1, 'one')]
# 也可以直接for遍历
>>> for r in db.read("select * from foo"):
... print(r)
...
{'a': 1, 'b': 'one'}
{'a': 1, 'b': 'one'}
{'a': 1, 'b': 'one'}
# 转换成pandas dataframe对象, 前提已经安装了pandas
>>> db.read("select * from foo").to_df()
a b
0 1 one
1 1 one
2 1 one
3. 提交、回滚、关闭连接
>>> db.rollback()
>>> db.commit()
>>> db.close()
表级别操作的SQL接口封装
1. 插入记录
# 插入单条和插入多条,输入参数字典的键值必须和表中字段同名
>>> db.get_table("foo").insert({"a": 1, "b": "one"})
1
>>> db.get_table("foo").insert([{"a": 1, "b": "one"}]*10)
10
2. 查询记录
# 查询字段a=1第一条记录
>>> db.get_table("foo").find_one({"a": 1})
{'a': 1, 'b': 'one'}
# 也可以直接写成sql条件表达式,其他接口的条件参数类似都可以是表达式
>>> db.get_table("foo").find_one("a=1")
{'a': 1, 'b': 'one'}
# 查询字段a=1所有记录,find返回迭代器对象同上面read方法
>>> db.get_table("foo").find({"a": 1}).get_all()
[{'a': 1, 'b': 'one'},...{'a': 1, 'b': 'one'}]
3. 更新记录
# 将a=1那条记录的b字段值更新为"first"
>>> db.get_table("foo").update({"a": 1}, {"b": "first"})
11
>>> db.get_table("foo").find({"a": 1}).get_one()
{'a': 1, 'b': 'first'}
4. 删除记录
# 将a=1那条记录删除
>>> db.get_table("foo").delete({"a": 1})
11
>>> db.get_table("foo").find({"a": 1}).get_all()
[]
常用数据库连接
1. Common Driver
# 使用普通数据库驱动连接,driver参数指定驱动包名称
# 例如pymysql包driver='pymysql',connect函数其余的参数和driver参数指定的包的创建连接参数一致
# 连接mysql
db = pydbclib.connect(user="user", password="password", database="test", driver="pymysql")
# 连接oracle
db = pydbclib.connect('user/password@local:1521/xe', driver="cx_Oracle")
# 通过odbc方式连接
db = pydbclib.connect('DSN=mysqldb;UID=user;PWD=password', driver="pyodbc")
# 通过已有驱动连接方式连接
import pymysql
con = pymysql.connect(user="user", password="password", database="test")
db = pydbclib.connect(driver=con)
2. Sqlalchemy Driver
# 使用Sqlalchemy包来连接数据库,drvier参数默认为'sqlalchemy'
# 连接oracle
db = pydbclib.connect("oracle://user:password@local:1521/xe")
# 连接mysql
db = pydbclib.connect("mysql+pyodbc://:@mysqldb")
# 通过已有engine连接
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://user:password@localhost:3306/test")
db = pydbclib.connect(driver=engine)
使用过程中有任何疑问,欢迎评论交流
项目地址pydbclib
来源:https://www.cnblogs.com/liyatao/p/13027304.html
标签:python,数据库,操作工具,pydbclib
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python日期相关操作实例小结
2021-07-14 18:39:13
解决python -m pip install --upgrade pip 升级不成功问题
2022-12-15 00:21:55
![](https://img.aspxhome.com/file/2023/0/72940_0s.png)
如何让利用Python+AI使静态图片动起来
2022-06-06 08:15:31
![](https://img.aspxhome.com/file/2023/2/107812_0s.gif)
Vue项目服务器部署刷新页面404问题及解决
2024-04-09 10:47:22
![](https://img.aspxhome.com/file/2023/4/139824_0s.png)
python递归实现快速排序
2023-08-26 22:46:27
pandas分组聚合详解
2023-06-28 15:50:25
SQL SERVER先判断视图是否存在然后再创建视图的语句
2024-01-23 07:39:30
简述:我为什么选择Python而不是Matlab和R语言
2021-05-13 06:51:27
![](https://img.aspxhome.com/file/2023/0/102980_0s.png)
python处理二进制数据的方法
2022-09-08 06:20:09
ASP程序中输出Excel文件实例一则
2008-11-07 15:29:00
全面解析Windows下安装 mysql5.7的方法
2024-01-26 21:06:58
web2.0中流行的设计元素:颜色
2007-12-10 12:16:00
![](https://img.aspxhome.com/file/UploadPic/200712/10/20071210121850432s.jpg)
python3+openCV 获取图片中文本区域的最小外接矩形实例
2022-03-16 00:57:11
![](https://img.aspxhome.com/file/2023/9/103719_0s.jpg)
Java使用JDBC连接数据库
2024-01-22 03:21:45
基于Python实现二维图像双线性插值
2023-08-13 07:46:45
![](https://img.aspxhome.com/file/2023/4/61984_0s.png)
如何取消pyecharts绘制地图时默认显示小圆点标识
2021-05-06 19:43:35
![](https://img.aspxhome.com/file/2023/5/102745_0s.png)
解决Python print输出不换行没空格的问题
2021-03-21 11:05:57
Vue组件间的样式冲突污染问题详解
2023-07-02 16:59:33
![](https://img.aspxhome.com/file/2023/5/139875_0s.jpg)
JavaScript实现简单贪吃蛇效果
2023-08-13 05:48:08
![](https://img.aspxhome.com/file/2023/6/56036_0s.gif)
Tornado 多进程实现分析详解
2022-06-13 20:51:56