本文实例讲述了python和mysql交互操作。分享给大家供大家参考，具体如下：
python要和mysql交互，我们利用pymysql这个库。
下载地址：
https://github.com/pymysql/pymysql
安装(注意cd到我们项目的虚拟环境后)：
|
1
2
3
|
cd 项目根目录/abc/bin/#执行./python3 -m pip install pymysql |
稍等片刻，就会把pymysql库下载到项目虚拟环境abc/lib/python3.5/site-packages中。(注意我项目是这个路径，你的不一定)
文档地址：http://pymysql.readthedocs.io/en/latest/
使用：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
import pymysql.cursors# 连接数据库connection = pymysql.connect(host='localhost', user='root', password='root', db='test', charset='utf8mb4', cursorclass=pymysql.cursors.dictcursor)try: with connection.cursor() as cursor: # read a single record sql = "select * from news" cursor.execute(sql) result = cursor.fetchone() print(result) # {'id': 1, 'title': '本机新闻标题'}finally: connection.close() |
我们连上了本地数据库test，从news表中取数据，数据结果为{'id': 1, 'title': '本机新闻标题'}
返回的结果是字典类型，这是因为在连接数据库的时候我们是这样设置的：
|
1
2
3
4
5
6
7
|
# 连接数据库connection = pymysql.connect(host='localhost', user='root', password='root', db='test', charset='utf8mb4', cursorclass=pymysql.cursors.cursor) |
我们把cursorclass设置的是：pymysql.cursors.dictcursor。
字典游标，所以结果集是字典类型。
我们修改为如下：
|
1
|
cursorclass=pymysql.cursors.cursor |
结果集如下：
(1, '本机新闻标题')
变成了元组类型。我们还是喜欢字典类型，因为其中包含了表字段。
cursor对象
主要有4种：
cursor 默认，查询返回list或者tuple
dictcursor 查询返回dict，包含字段名
sscursor 效果同cursor，无缓存游标
ssdictcursor 效果同dictcursor，无缓存游标。
插入
|
1
2
3
4
5
6
7
8
|
try: with connection.cursor() as cursor: sql = "insert into news(`title`)values (%s)" cursor.execute(sql,["今天的新闻"]) # 手动提交 默认不自动提交 connection.commit()finally: connection.close() |
一次性插入多条数据
|
1
2
3
4
5
6
7
8
|
try: with connection.cursor() as cursor: sql = "insert into news(`title`)values (%s)" cursor.executemany(sql,["新闻标题1","新闻标题2"]) # 手动提交 默认不自动提交 connection.commit()finally: connection.close() |
注意executemany()有别于execute()。
sql绑定参数
|
1
2
|
sql = "insert into news(`title`)values (%s)"cursor.executemany(sql,["新闻标题1","新闻标题2"]) |
我们用%s占位，执行sql的时候才传递具体的值。上面我们用的是list类型：
["新闻标题1","新闻标题2"]
可否用元组类型呢？
|
1
|
cursor.executemany(sql,("元组新闻1","元组新闻2")) |
同样成功插入到数据表了。
把前面分析得到的基金数据入库
创建一个基金表：
|
1
2
3
4
5
6
7
8
|
create table `fund` ( `code` varchar(50) not null, `name` varchar(255), `nav` decimal(5,4), `accnav` decimal(5,4), `updated_at` datetime, primary key (`code`)) comment='基金表'; |
准备插入sql：
注意%(code)s这种占位符，要求我们执行这sql的时候传入的参数必须是字典数据类型。
mysql小知识:
在插入的时候如果有重复的主键，就更新
|
1
|
insert into 表名 xxxx on duplicate key update 表名 |
我们这里要准备执行的sql就变成这样了：
|
1
2
|
insert into fund(code,name,nav,accnav,updated_at)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)on duplicate key update updated_at=%(updated_at)s,nav=%(nav)s,accnav=%(accnav)s; |
1、回顾我们前面分析处理的基金网站数据
http://www.zzvips.com/article/175019.html
|
1
2
3
4
5
6
7
8
9
10
|
#...codes = soup.find("table",id="otable").tbody.find_all("td","bzdm")result = () # 初始化一个元组for code in codes: result += ({ "code":code.get_text(), "name":code.next_sibling.find("a").get_text(), "nav":code.next_sibling.next_sibling.get_text(), "accnav":code.next_sibling.next_sibling.next_sibling.get_text() },) |
最后我们是把数据存放在一个result的元组里了。
我们打印这个result可以看到：
元组里每个元素 都是字典。
看字典是不是我们数据表的字段能对应了，但还少一个updated_at字段的数据。
2、我们把分析的网页数据重新处理一下
|
1
2
3
4
5
6
7
8
9
10
11
|
from datetime import datetimeupdated_at = datetime.now().strftime("%y-%m-%d %h:%m:%s")result = () # 初始化一个元组for code in codes: result += ({ "code":code.get_text(), "name":code.next_sibling.find("a").get_text(), "nav":code.next_sibling.next_sibling.get_text(), "accnav":code.next_sibling.next_sibling.next_sibling.get_text(), "updated_at":updated_at },) |
3、最后插入的代码
|
1
2
3
4
5
6
7
8
9
|
try: with connection.cursor() as cursor: sql = """insert into fund(`code`,`name`,`nav`,`accnav`,`updated_at`)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)on duplicate key update `updated_at`=%(updated_at)s,`nav`=%(nav)s,`accnav`=%(accnav)s""" cursor.executemany(sql,result) # 手动提交 默认不自动提交 connection.commit()finally: connection.close() |
4、完整的分析html内容(基金网站网页内容)，然后插入数据库代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
from bs4 import beautifulsoupimport pymysql.cursorsfrom datetime import datetime# 读取文件内容with open("1.txt", "rb") as f: html = f.read().decode("utf8") f.close()# 分析html内容soup = beautifulsoup(html,"html.parser")# 所有基金编码codes = soup.find("table",id="otable").tbody.find_all("td","bzdm")updated_at = datetime.now().strftime("%y-%m-%d %h:%m:%s")result = () # 初始化一个元组for code in codes: result += ({ "code":code.get_text(), "name":code.next_sibling.find("a").get_text(), "nav":code.next_sibling.next_sibling.get_text(), "accnav":code.next_sibling.next_sibling.next_sibling.get_text(), "updated_at":updated_at },)# 连接数据库connection = pymysql.connect(host='localhost', user='root', password='root', db='test', charset='utf8mb4', cursorclass=pymysql.cursors.cursor)try: with connection.cursor() as cursor: sql = """insert into fund(`code`,`name`,`nav`,`accnav`,`updated_at`)values (%(code)s,%(name)s,%(nav)s,%(accnav)s,%(updated_at)s)on duplicate key update `updated_at`=%(updated_at)s,`nav`=%(nav)s,`accnav`=%(accnav)s""" cursor.executemany(sql,result) # 手动提交 默认不自动提交 connection.commit()finally: connection.close() |
希望本文所述对大家python程序设计有所帮助。
原文链接：https://blog.csdn.net/github_26672553/article/details/78530019
