python的urllib模块提供了一系列操作url的功能，可以让我们通过url打开任意资源。其中比较常用的就是request模块，本篇主要介绍requset模块。
urllib子模块
- urllib.request 打开或请求url
- urllib.error 捕获处理请求时产生的异常
- urllib.parse 解析url
- urllib.robotparser 用于解析robots.txt文件
robots.txt是一种存放于网站根目录下文本文件，用来告诉网络爬虫服务器上的那些文件可以被查看。又被成为robots协议，是一种约定俗成的协议。
request模块
function request.urlopen()
urlopen方法用来打开资源url，常用带参数形式urlopen(url,data=none)，url：资源url，data：携带的数据。
方法的返回值始终为一个对象，并可以调用相应的方法获取返回的信息。其中对于http及https的url来说会返回一个http.client.httpresponse对象；
|
1
2
3
4
5
6
7
|
import urllib.request# 我们用本地的一个简单html文件来测试url = 'http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req) |
1. read() 返回服务器返回的原始数据；
|
1
2
3
4
5
6
7
|
import urllib.requesturl ='http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req.read()) |
我们可以再调用decode()方法来解码。
|
1
2
3
4
5
6
7
|
import urllib.requesturl = 'http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req.read().decode()) |
2.geturl() 返回获取资源的url；
- 创建一个测试页
|
1
2
3
4
5
6
|
import urllib.requesturl = 'http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req.geturl()) |
- 前端重定向
我们在页面中添加js脚本重定向页面window.location.href='http://127.0.0.1:8848/chenjy/test2.html';，会发现访问的时候会重定向到test2，但是geturl还是获取的重定向前的
- 后端重定向
我们启动一个项目并添加一个拦截器当访问index.html的时候重定向到/ls/html/list.html页面,geturl获取的是重定向后的页面
|
1
2
3
4
5
6
7
8
|
@override public void handle(string target, httpservletrequest request, httpservletresponse response, boolean[] ishandled) { int index = target.lastindexof("index.html"); if (index != -1){ handlerkit.redirect("/ls/html/list.html",request,response,ishandled); } } |
|
1
2
3
4
5
6
|
import urllib.requesturl = 'http://localhost:8088/ls/index.html'req = urllib.request.urlopen(url)print(req.geturl()) |
3.info() 返回页面的元信息；
|
1
2
3
4
5
6
|
import urllib.requesturl = 'http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req.info()) |
4.getcode() 返回页面的状态码；
|
1
2
3
4
5
6
|
import urllib.requesturl = 'http://127.0.0.1:8848/chenjy/test.html'req = urllib.request.urlopen(url)print(req.getcode()) |
class request.request
url请求类 request(url, data=none, headers={}, origin_req_host=none, unverifiable=false, method=none)
- url：请求url
- data：请求传参；bytes字节流
- headers：请求头
- origin_req_host：请求原始主机；不带端口
- unverifiable：是否不可验证；
- method ：请求方法；如get、post、put等
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
import urllib.request# 模拟iphone5请求百度手机版页面url = 'https://www.baidu.com/'user_agent = 'mozilla/5.0 (iphone; cpu iphone os 10_3_1 like mac os x) applewebkit/603.1.30 (khtml, like gecko) version/10.0 mobile/14e304 safari/602.1'headers = { 'user-agent': user_agent}# 抓取page信息req = urllib.request.request(url, headers=headers,method='get')page = urllib.request.urlopen(req).read().decode('utf-8')print(page) |
以上就是python urllib.request模块的使用详解的详细内容，更多关于python urllib.request模块的资料请关注服务器之家其它相关文章！
原文链接：https://www.cnblogs.com/chenjy1225/p/11743847.html
