python通用数据库操作工具 pydbclib的使用简介_Python

pydbclib是一个通用的python关系型数据库操作工具包，使用统一的接口操作各种关系型数据库（如 oracle、mysql、postgres、hive、impala等）进行增删改查，它是对各个python数据库连接驱动包（如sqlalchemy、pymysql、cx_Oracle、pyhive、pyodbc、impala等）的封装，依照python最简原则SQL占位符统一成 ':[name]' 这一种形式，这点和sqlalchemy是一样的

安装

				?

									pip3 install pydbclib

简单使用

看下简单的查询示例

				?

									from pydbclib import connect

									# 使用with上下文，可以自动提交，自动关闭连接

									with connect("sqlite:///:memory:") as db:

									  db.execute('create table foo(a integer, b varchar(20))')

									  # 统一使用':[name]'形式的SQL的占位符

									  db.execute("insert into foo(a,b) values(:a,:b)", [{"a": 1, "b": "one"}]*4)

									  print(db.read("select * from foo").get_one())

									  print(db.read("select * from foo").get_all())

									  print(db.read("select * from foo").to_df())

									  db.get_table("foo").insert({"a": 2, "b": "two"})

									  print(db.get_table("foo").find_one({"a": 2}))

									  print(db.get_table("foo").find().get_all())

									  print(db.get_table("foo").find().to_df())

查询结果记录是以字典形式展现，向库里写入记录也是字典形式，如果要使用原生元祖形式，查询函数read里添加as_dict=False参数

接口文档

数据库连接，更多常用数据库连接方式参考文章结尾

				?

									# connect函数有个driver参数决定你是通过哪个数据库驱动包去连接的

									# driver参数默认值是sqlalchemy，即通过sqlalchemy驱动包连接数据库

									>>> db = pydbclib.connect("sqlite:///:memory:")

									>>> db = pydbclib.connect(":memory:", driver='sqlite3')

									# 也可以传入驱动包连接对象

									>>> import sqlite3

									>>> db = pydbclib.connect(driver=sqlite3.connect(":memory:"))

									>>> from sqlalchemy import create_engine

									>>> db = pydbclib.connect(driver=create_engine("sqlite:///:memory:"))

原生SQL接口

1. 使用execute方法执行SQL，和各数据库连接包基本一致，不同点是它既可以单条执行，也可以批量执行(相当于executemany)，另外该方法的SQL占位符是':[name]'形式

				?

									>>> record = {"a": 1, "b": "one"}

									>>> db.execute('create table foo(a integer, b varchar(20))')

									# 插入单条记录，结果返回影响行数

									>>> db.execute("insert into foo(a,b) values(:a,:b)", record)

									1

									# 插入多条记录

									>>> db.execute("insert into foo(a,b) values(:a,:b)", [record, record])

									2

2. 查询数据

				?

									# 查询结果只返回一条记录

									>>> db.read_one("select * from foo")

									{'a': 1, 'b': 'one'}

									#read返回迭代器类型，用get方法获取前几条记录，使用map对每条记录进行数据清洗

									>>> db.read("select * from foo").map(lambda x: {f"foo.{k}": v for k,v in x.items()}).get(2)

									# as_dict=False返回原生元祖记录

									>>> db.read("select * from foo", as_dict=False).get(2)

									[(1, 'one'), (1, 'one')]

									# 也可以直接for遍历

									>>> for r in db.read("select * from foo"):

									...   print(r)

									... 

									{'a': 1, 'b': 'one'}

									{'a': 1, 'b': 'one'}

									{'a': 1, 'b': 'one'}

									# 转换成pandas dataframe对象, 前提已经安装了pandas

									>>> db.read("select * from foo").to_df()

									  a  b

									0 1 one

									1 1 one

									2 1 one

3. 提交、回滚、关闭连接

				?

									>>> db.rollback()

									>>> db.commit()

									>>> db.close()

表级别操作的SQL接口封装

1. 插入记录

				?

									# 插入单条和插入多条，输入参数字典的键值必须和表中字段同名

									>>> db.get_table("foo").insert({"a": 1, "b": "one"})

									1

									>>> db.get_table("foo").insert([{"a": 1, "b": "one"}]*10)

									10

2. 查询记录

				?

									# 查询字段a=1第一条记录

									>>> db.get_table("foo").find_one({"a": 1})

									{'a': 1, 'b': 'one'}

									# 也可以直接写成sql条件表达式，其他接口的条件参数类似都可以是表达式

									>>> db.get_table("foo").find_one("a=1")

									{'a': 1, 'b': 'one'}

									# 查询字段a=1所有记录，find返回迭代器对象同上面read方法

									>>> db.get_table("foo").find({"a": 1}).get_all()

									[{'a': 1, 'b': 'one'},...{'a': 1, 'b': 'one'}]

3. 更新记录

				?

									# 将a=1那条记录的b字段值更新为"first"

									>>> db.get_table("foo").update({"a": 1}, {"b": "first"})

									11

									>>> db.get_table("foo").find({"a": 1}).get_one()

									{'a': 1, 'b': 'first'}

4. 删除记录

				?

									# 将a=1那条记录删除

									>>> db.get_table("foo").delete({"a": 1})

									11

									>>> db.get_table("foo").find({"a": 1}).get_all()

									[]

常用数据库连接

1. Common Driver

				?

									# 使用普通数据库驱动连接，driver参数指定驱动包名称

									# 例如pymysql包driver='pymysql',connect函数其余的参数和driver参数指定的包的创建连接参数一致

									# 连接mysql

									db = pydbclib.connect(user="user", password="password", database="test", driver="pymysql")

									# 连接oracle

									db = pydbclib.connect('user/password@local:1521/xe', driver="cx_Oracle")

									# 通过odbc方式连接

									db = pydbclib.connect('DSN=mysqldb;UID=user;PWD=password', driver="pyodbc") 

									# 通过已有驱动连接方式连接

									import pymysql

									con = pymysql.connect(user="user", password="password", database="test")

									db = pydbclib.connect(driver=con)

2. Sqlalchemy Driver

				?

									# 使用Sqlalchemy包来连接数据库，drvier参数默认为'sqlalchemy'

									# 连接oracle

									db = pydbclib.connect("oracle://user:password@local:1521/xe")

									# 连接mysql

									db = pydbclib.connect("mysql+pyodbc://:@mysqldb")

									# 通过已有engine连接

									from sqlalchemy import create_engine

									engine = create_engine("mysql+pymysql://user:password@localhost:3306/test")

									db = pydbclib.connect(driver=engine)