服务器之家

服务器之家 > 正文

Python3网络爬虫中的requests高级用法详解

时间:2021-07-14 11:26     来源/作者:Mark

本节我们再来了解下 requests 的一些高级用法,如文件上传,代理设置,cookies 设置等等。

1. 文件上传

我们知道 reqeuests 可以模拟提交一些数据,假如有的网站需要我们上传文件,我们同样可以利用它来上传,实现非常简单,实例如下:

?
1
2
3
4
import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post('http://httpbin.org/post', files=files)
print(r.text)

在上面一节中我们下载保存了一个文件叫做 favicon.ico,这次我们用它为例来模拟文件上传的过程。需要注意的是,favicon.ico 这个文件需要和当前脚本在同一目录下。如果有其它文件,当然也可以使用其它文件来上传,更改下名称即可。

运行结果如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
 "args": {},
 "data": "",
 "files": {
  "file": "data:application/octet-stream;base64,aaaaaa...="
 },
 "form": {},
 "headers": {
  "accept": "*/*",
  "accept-encoding": "gzip, deflate",
  "content-length": "6665",
  "content-type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058",
  "host": "httpbin.org",
  "user-agent": "python-requests/2.10.0"
 },
 "json": null,
 "origin": "60.207.237.16",
 "url": "http://httpbin.org/post"
}

以上部分内容省略,这个网站会返回一个 response,里面包含 files 这个字段,而 form 是空的,这证明文件上传部分会单独有一个 files 字段来标识。

2. cookies

在前面我们使用了 urllib 处理过 cookies,写法比较复杂,而有了 requests,获取和设置 cookies 只需要一步即可完成。

我们先用一个实例感受一下获取 cookies 的过程:

?
1
2
3
4
5
import requests
r = requests.get('https://www.baidu.com')
print(r.cookies)
for key, value in r.cookies.items():
  print(key + '=' + value)

运行结果如下:

‘'‘

<requestscookiejar[<cookie bdorz=27315 for .baidu.com/>]>

bdorz=27315

'‘'

首先我们调用了 cookies 属性即可成功得到了 cookies,可以发现它是一个 requestcookiejar 类型,然后我们用 items() 方法将其转化为元组组成的列表,遍历输出每一个 cookie 的名和值,实现 cookies 的遍历解析。

当然,我们也可以直接用 cookies 来维持登录状态。

比如我们以知乎为例,直接利用 cookies 来维持登录状态。

首先登录知乎,将 headers 中的 cookies 复制下来,如图 3-6 所示:

Python3网络爬虫中的requests高级用法详解

图 3-6 cookies

这里可以替换成你自己的 cookies,将其设置到 headers 里面,发送 request,示例如下:

?
1
2
3
4
5
6
7
8
9
import requests
 
headers = {
  'cookie': 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="agdas254kaqptr6nw1u3xtlfzkhmpq6h_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0aacafbwdaaaxaaaaso0qwaaagh28hqaaagdas254kaoxaaaayqjvtq4fcvga360us8baklzlynehud6kmhtrqx5a6hizxkcynnycerlq3gikojlocq==";z_c0=mi4wqufdqwzid2rbqufbwu1demjuavfdagnbqufcaefsvk5ez1vkv0feznjtnnp3runtwe10zzbrzfizcvnzztfgqmzn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0',
  'host': 'www.zhihu.com',
  'user-agent': 'mozilla/5.0 (macintosh; intel mac os x 10_11_4) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36',
}
r = requests.get('https://www.zhihu.com', headers=headers)
print(r.text)

发现结果中包含了登录后的结果,如图 3-7 所示:

 Python3网络爬虫中的requests高级用法详解

图 3-7 运行结果

证明登录成功。

当然也可以通过 cookies 参数来设置,不过这样就需要构造 requestscookiejar 对象,而且需要分割一下 cookies ,相对繁琐,不过效果是相同的,实例如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
 
cookies = 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="agdas254kaqptr6nw1u3xtlfzkhmpq6h_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;a_t="2.0aacafbwdaaaxaaaaso0qwaaagh28hqaaagdas254kaoxaaaayqjvtq4fcvga360us8baklzlynehud6kmhtrqx5a6hizxkcynnycerlq3gikojlocq==";z_c0=mi4wqufdqwzid2rbqufbwu1demjuavfdagnbqufcaefsvk5ez1vkv0feznjtnnp3runtwe10zzbrzfizcvnzztfgqmzn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'
jar = requests.cookies.requestscookiejar()
headers = {
  'host': 'www.zhihu.com',
  'user-agent': 'mozilla/5.0 (macintosh; intel mac os x 10_11_4) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36'
}
for cookie in cookies.split(';'):
  key, value = cookie.split('=', 1)
  jar.set(key, value)
r = requests.get('http://www.zhihu.com', cookies=jar, headers=headers)
print(r.text)

上面我们首先新建了一个 requestcookiejar 对象,然后将复制下来的 cookies 利用 split() 方法分割,利用 set() 方法设置好每一个 cookie 的 key 和 value,然后通过调用 requests 的 get() 方法并传递给 cookies 参数即可,当然由于知乎本身的限制, headers 参数也不能少,只不过不需要在原来的 headers 参数里面设置 cookie 字段了。

测试后,发现同样可以正常登录知乎。

3. 会话维持

在 requests 中,我们如果直接利用 get() 或 post() 等方法的确可以做到模拟网页的请求。但是这实际上是相当于不同的会话,即不同的 session,也就是说相当于你用了两个浏览器打开了不同的页面。

设想这样一个场景,我们第一个请求利用了 post() 方法登录了某个网站,第二次想获取成功登录后的自己的个人信息,你又用了一次 get() 方法去请求个人信息页面。实际上,这相当于打开了两个浏览器,是两个完全不相关的会话,能成功获取个人信息吗?那当然不能。

有小伙伴可能就说了,我在两次请求的时候都设置好一样的 cookies 不就行了?可以,但这样做起来还是显得很繁琐,我们还有更简单的解决方法。

其实解决这个问题的主要方法就是维持同一个会话,也就是相当于打开一个新的浏览器选项卡而不是新开一个浏览器。但是我又不想每次设置 cookies,那该怎么办?这时候就有了新的利器 session对象。

利用它,我们可以方便地维护一个会话,而且不用担心 cookies 的问题,它会帮我们自动处理好。

下面用一个实例来感受一下:

?
1
2
3
4
5
import requests
 
requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)

在实例中我们请求了一个测试网址: http://httpbin.org/cookies/se... ,请求这个网址我们可以设置一个 Cookie,名称叫做 number,内容是 123456789,随后又请求了 http://httpbin.org/cookies ,此网址可以获取当前的 Cookies。

这样能成功获取到设置的 Cookies 吗?试试看。

运行结果如下:

?
1
2
3
{
 "cookies": {}
}

并不行。我们再用 session 试试看:

?
1
2
3
4
5
6
import requests
 
s = requests.session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

看下运行结果:

?
1
2
3
4
5
{
 "cookies": {
  "number": "123456789"
 }
}

成功获取!这下能体会到同一个会话和不同会话的区别了吧?

所以,利用 session 我们可以做到模拟同一个会话,而且不用担心 cookies 的问题,通常用于模拟登录成功之后再进行下一步的操作。

session 在平常用到的非常广泛,可以用于模拟在一个浏览器中打开同一站点的不同页面,在后文会有专门的章节来讲解这部分内容。

4. ssl证书验证

requests 提供了证书验证的功能,当发送 http 请求的时候,它会检查 ssl 证书,我们可以使用 verify 这个参数来控制是否检查此证书,其实如果不加的话默认是 true,会自动验证。

在前面我们提到过 12306 的证书实际上是不被官方认可的,会出现证书验证错误的结果,我们现在访问它都可以看到一个证书问题的页面,如图 3-8 所示:

Python3网络爬虫中的requests高级用法详解

图 3-8 错误页面

现在我们用 requests 来测试一下:

?
1
2
3
import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)

运行结果如下:

requests.exceptions.sslerror: ("bad handshake: error([('ssl routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)

提示一个错误,叫做 sslerror,证书验证错误。所以如果我们请求一个 https 站点,但是证书验证错误的页面时,就会报这样的错误,那么如何避免这个错误呢?很简单,把 verify 这个参数设置为 false 即可。

改成如下代码:

?
1
2
3
import requests
response = requests.get('https://www.12306.cn', verify=false)
print(response.status_code)

这样,就会打印出请求成功的状态码。

?
1
2
3
/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: insecurerequestwarning: unverified https request is being made. adding certificate verification is strongly advised. see: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
 insecurerequestwarning)
200

不过发现报了一个警告,它提示建议让我们给它指定证书。

我们可以通过设置忽略警告的方式来屏蔽这个警告:

?
1
2
3
4
5
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=false)
print(response.status_code)

或者通过捕获警告到日志的方式忽略警告:

?
1
2
3
4
5
import logging
import requests
logging.capturewarnings(true)
response = requests.get('https://www.12306.cn', verify=false)
print(response.status_code)

当然我们也可以指定一个本地证书用作客户端证书,可以是单个文件(包含密钥和证书)或一个包含两个文件路径的元组。

?
1
2
3
import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)

当然上面代码是实例,我们需要有 crt 和 key 文件,指定它们的路径。注意本地私有证书的 key 必须要是解密状态,加密状态的 key 是不支持的。

5. 代理设置

对于某些网站,在测试的时候请求几次,能正常获取内容。但是一旦开始大规模爬取,对于大规模且频繁的请求,网站可能会直接登录验证,验证码,甚至直接把ip给封禁掉。

那么为了防止这种情况的发生,我们就需要设置代理来解决这个问题,在 requests 中需要用到 proxies 这个参数。

可以用这样的方式设置:

?
1
2
3
4
5
6
import requests
proxies = {
 'http': 'http://10.10.1.10:3128',
 'https': 'http://10.10.1.10:1080',
}
requests.get('https://www.taobao.com', proxies=proxies)

当然直接运行这个实例可能不行,因为这个代理可能是无效的,请换成自己的有效代理试验一下。

若代理需要使用 HTTP Basic Auth,可以使用类似 http://user :password@host:port 这样的语法来设置代理。

实例如下:

?
1
2
3
4
5
import requests
proxies = {
  'https': 'http://user:password@10.10.1.10:3128/',
}
requests.get('https://www.taobao.com', proxies=proxies)

除了基本的 http 代理,requests 还支持 socks 协议的代理。

首先需要安装 socks 这个库,命令如下:

pip3 install "requests[socks]"

然后就可以使用 socks 协议代理了,实例如下:

?
1
2
3
4
5
6
import requests
proxies = {
  'http': 'socks5://user:password@host:port',
  'https': 'socks5://user:password@host:port'
}
requests.get('https://www.taobao.com', proxies=proxies)

6. 超时设置

在本机网络状况不好或者服务器网络响应太慢甚至无响应时,我们可能会等待特别久的时间才可能会收到一个响应,甚至到最后收不到响应而报错。为了防止服务器不能及时响应,我们应该设置一个超时时间,即超过了这个时间还没有得到响应,那就报错。

设置超时时间需要用到 timeout 参数。这个时间的计算是发出 request 到服务器返回 response 的时间。

下面用一个实例来感受一下:

?
1
2
3
import requests
r = requests.get('https://www.taobao.com', timeout=1)
print(r.status_code)

通过这样的方式,我们可以将超时时间设置为 1 秒,如果 1 秒内没有响应,那就抛出异常。

实际上请求分为两个阶段,即 connect(连接)和 read(读取)。

上面的设置 timeout 值将会用作 connect 和 read 二者的 timeout 总和。

如果要分别指定,就可以传入一个元组:

r = requests.get('https://www.taobao.com', timeout=(5, 11))

如果想永久等待,那么我们可以直接将 timeout 设置为 none,或者不设置直接留空,因为默认是 none。这样的话,如果服务器还在运行,但是响应特别慢,那就慢慢等吧,它永远不会返回超时错误的。

用法如下:

r = requests.get('https://www.taobao.com', timeout=none)

或直接不加参数:

r = requests.get('https://www.taobao.com')

7. 身份认证

在访问网站时,我们可能会遇到这样的认证页面,如图 3-9 所示:

Python3网络爬虫中的requests高级用法详解

图 3-9 认证页面

如果遇到这样的网站验证,可以使用 requests 自带的身份认证功能,实例如下:

?
1
2
3
4
import requests
from requests.auth import httpbasicauth
r = requests.get('http://localhost:5000', auth=httpbasicauth('username', 'password'))
print(r.status_code)

如果用户名和密码正确的话,请求时就会自动认证成功,会返回 200 状态码,如果认证失败,则会返回 401 状态码。

当然如果参数都传一个 httpbasicauth 类,就显得有点繁琐了,所以 requests 提供了一个更简单的写法,可以直接传一个元组,它会默认使用 httpbasicauth 这个类来认证。

所以上面的代码可以直接简写如下:

?
1
2
3
import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)

运行效果和上面的是一样的。

requests 还提供了其他的认证方式,如 oauth 认证,不过需要安装 oauth 包,命令如下:

pip3 install requests_oauthlib

使用 oauth1 认证的方法如下:

?
1
2
3
4
5
6
import requests
from requests_oauthlib import oauth1
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = oauth1('your_app_key', 'your_app_secret',
       'user_oauth_token', 'user_oauth_token_secret')
requests.get(url, auth=auth)

更多详细的功能就可以参考 requests_oauthlib 的官方文档: https://requests-oauthlib.rea... ,在此就不再赘述了。

8. prepared request

在前面介绍 urllib 时我们可以将 request 表示为一个数据结构,request 的各个参数都可以通过一个 request 对象来表示,在 requests 里面同样可以做到,这个数据结构就叫 prepared request。

我们用一个实例感受一下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
from requests import request, session
 
url = 'http://httpbin.org/post'
data = {
  'name': 'germey'
}
headers = {
  'user-agent': 'mozilla/5.0 (macintosh; intel mac os x 10_11_4) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36'
}
s = session()
req = request('post', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

在这里我们引入了 request,然后用 url、data、headers 参数构造了一个 request 对象,这时我们需要再调用 session 的 prepare_request() 方法将其转换为一个 prepared request 对象,然后调用 send() 方法发送即可,运行结果如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
{
 "args": {},
 "data": "",
 "files": {},
 "form": {
  "name": "germey"
 },
 "headers": {
  "accept": "*/*",
  "accept-encoding": "gzip, deflate",
  "connection": "close",
  "content-length": "11",
  "content-type": "application/x-www-form-urlencoded",
  "host": "httpbin.org",
  "user-agent": "mozilla/5.0 (macintosh; intel mac os x 10_11_4) applewebkit/537.36 (khtml, like gecko) chrome/53.0.2785.116 safari/537.36"
 },
 "json": null,
 "origin": "182.32.203.166",
 "url": "http://httpbin.org/post"
}

可以看到我们达到了同样的 post 请求效果。

有了 request 这个对象,我们就可以将一个个请求当做一个独立的对象来看待,这样在进行队列调度的时候会非常方便,后面我们会有一节使用它来构造一个 request 队列。

9. 结语

本节讲解了 requests 的一些高级用法,这些用法在后面实战部分会经常用到,需要熟练掌握。

更多的用法可以参考 requests 的官方文档:  http://docs.python-requests.org/ 。

总结

以上所述是小编给大家介绍的python3网络爬虫中的requests高级用法详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对服务器之家网站的支持!

如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

原文链接:https://segmentfault.com/a/1190000019505396

相关文章

热门资讯

2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
2021德云社封箱演出完整版 2021年德云社封箱演出在线看
2021德云社封箱演出完整版 2021年德云社封箱演出在线看 2021-03-15
返回顶部