服务器之家

服务器之家 > 正文

python和mysql交互操作实例详解【基于pymysql库】

时间:2021-07-02 00:04     来源/作者:学习笔记666

本文实例讲述了pythonmysql交互操作。分享给大家供大家参考,具体如下:

python要和mysql交互,我们利用pymysql这个库。

下载地址:
https://github.com/pymysql/pymysql

安装(注意cd到我们项目的虚拟环境后):

?
1
2
3
cd 项目根目录/abc/bin/
#执行
./python3 -m pip install pymysql

稍等片刻,就会把pymysql库下载到项目虚拟环境abc/lib/python3.5/site-packages中。(注意我项目是这个路径,你的不一定)

文档地址:http://pymysql.readthedocs.io/en/latest/

使用:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import pymysql.cursors
# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.dictcursor)
try:
  with connection.cursor() as cursor:
    # read a single record
    sql = "select * from news"
    cursor.execute(sql)
    result = cursor.fetchone()
    print(result) # {'id': 1, 'title': '本机新闻标题'}
finally:
  connection.close()

我们连上了本地数据库test,从news表中取数据,数据结果为{'id': 1, 'title': '本机新闻标题'}

python和mysql交互操作实例详解【基于pymysql库】

返回的结果是字典类型,这是因为在连接数据库的时候我们是这样设置的:

?
1
2
3
4
5
6
7
# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.cursor)

我们把cursorclass设置的是:pymysql.cursors.dictcursor

字典游标,所以结果集是字典类型。

我们修改为如下:

?
1
cursorclass=pymysql.cursors.cursor

结果集如下:

(1, '本机新闻标题')

变成了元组类型。我们还是喜欢字典类型,因为其中包含了表字段。

cursor对象

主要有4种:

cursor 默认,查询返回list或者tuple
dictcursor  查询返回dict,包含字段名
sscursor    效果同cursor,无缓存游标
ssdictcursor 效果同dictcursor,无缓存游标。

插入

?
1
2
3
4
5
6
7
8
try:
  with connection.cursor() as cursor:
    sql = "insert into news(`title`)values (%s)"
    cursor.execute(sql,["今天的新闻"])
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

一次性插入多条数据

?
1
2
3
4
5
6
7
8
try:
  with connection.cursor() as cursor:
    sql = "insert into news(`title`)values (%s)"
    cursor.executemany(sql,["新闻标题1","新闻标题2"])
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

注意executemany()有别于execute()

sql绑定参数

?
1
2
sql = "insert into news(`title`)values (%s)"
cursor.executemany(sql,["新闻标题1","新闻标题2"])

我们用%s占位,执行sql的时候才传递具体的值。上面我们用的是list类型:

["新闻标题1","新闻标题2"]

可否用元组类型呢?

?
1
cursor.executemany(sql,("元组新闻1","元组新闻2"))

同样成功插入到数据表了。

把前面分析得到的基金数据入库

创建一个基金表:

?
1
2
3
4
5
6
7
8
create table `fund` (
  `code` varchar(50) not null,
  `name` varchar(255),
  `nav` decimal(5,4),
  `accnav` decimal(5,4),
  `updated_at` datetime,
  primary key (`code`)
) comment='基金表';

准备插入sql:

复制代码 代码如下:
insert into fund(`code`,`name`,`nav`,`accnav`,`updated_at`)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)

 

注意%(code)s这种占位符,要求我们执行这sql的时候传入的参数必须是字典数据类型。

mysql小知识:

在插入的时候如果有重复的主键,就更新

?
1
insert into 表名 xxxx on duplicate key update 表名

我们这里要准备执行的sql就变成这样了:

?
1
2
insert into fund(code,name,nav,accnav,updated_at)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)
on duplicate key update updated_at=%(updated_at)s,nav=%(nav)s,accnav=%(accnav)s;

1、回顾我们前面分析处理的基金网站数据

http://www.zzvips.com/article/175019.html

?
1
2
3
4
5
6
7
8
9
10
#...
codes = soup.find("table",id="otable").tbody.find_all("td","bzdm")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "nav":code.next_sibling.next_sibling.get_text(),
    "accnav":code.next_sibling.next_sibling.next_sibling.get_text()
   },)

最后我们是把数据存放在一个result的元组里了。

我们打印这个result可以看到:

复制代码 代码如下:
({'code': '004223', 'accnav': '1.6578', 'name': '金信多策略精选灵活配置', 'nav': '1.6578'}, ...}

 

元组里每个元素 都是字典。

看字典是不是我们数据表的字段能对应了,但还少一个updated_at字段的数据。

2、我们把分析的网页数据重新处理一下

?
1
2
3
4
5
6
7
8
9
10
11
from datetime import datetime
updated_at = datetime.now().strftime("%y-%m-%d %h:%m:%s")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "nav":code.next_sibling.next_sibling.get_text(),
    "accnav":code.next_sibling.next_sibling.next_sibling.get_text(),
    "updated_at":updated_at
   },)

3、最后插入的代码

?
1
2
3
4
5
6
7
8
9
try:
  with connection.cursor() as cursor:
    sql = """insert into fund(`code`,`name`,`nav`,`accnav`,`updated_at`)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)
on duplicate key update `updated_at`=%(updated_at)s,`nav`=%(nav)s,`accnav`=%(accnav)s"""
    cursor.executemany(sql,result)
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

python和mysql交互操作实例详解【基于pymysql库】

4、完整的分析html内容(基金网站网页内容),然后插入数据库代码:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
from bs4 import beautifulsoup
import pymysql.cursors
from datetime import datetime
# 读取文件内容
with open("1.txt", "rb") as f:
  html = f.read().decode("utf8")
  f.close()
# 分析html内容
soup = beautifulsoup(html,"html.parser")
# 所有基金编码
codes = soup.find("table",id="otable").tbody.find_all("td","bzdm")
updated_at = datetime.now().strftime("%y-%m-%d %h:%m:%s")
result = () # 初始化一个元组
for code in codes:
  result += ({
    "code":code.get_text(),
    "name":code.next_sibling.find("a").get_text(),
    "nav":code.next_sibling.next_sibling.get_text(),
    "accnav":code.next_sibling.next_sibling.next_sibling.get_text(),
    "updated_at":updated_at
   },)
# 连接数据库
connection = pymysql.connect(host='localhost',
               user='root',
               password='root',
               db='test',
               charset='utf8mb4',
               cursorclass=pymysql.cursors.cursor)
try:
  with connection.cursor() as cursor:
    sql = """insert into fund(`code`,`name`,`nav`,`accnav`,`updated_at`)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)
on duplicate key update `updated_at`=%(updated_at)s,`nav`=%(nav)s,`accnav`=%(accnav)s"""
    cursor.executemany(sql,result)
  # 手动提交 默认不自动提交
  connection.commit()
finally:
  connection.close()

希望本文所述对大家python程序设计有所帮助。

原文链接:https://blog.csdn.net/github_26672553/article/details/78530019

标签:

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021德云社封箱演出完整版 2021年德云社封箱演出在线看
2021德云社封箱演出完整版 2021年德云社封箱演出在线看 2021-03-15
返回顶部