本文实例讲述了Python简单实现网页内容抓取功能。分享给大家供大家参考，具体如下：
使用模块：
|
1
2
|
import urllib2 import urllib |
普通抓取实例：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
#!/usr/bin/python# -*- coding: UTF-8 -*-import urllib2url = 'http://www.baidu.com'#创建request对象request = urllib2.Request(url)#发送请求，获取结果try: response = urllib2.urlopen(request)except BaseException, err: print err exit()#获取状态码，如果是200表示获取成功code = response.getcode()print code#读取内容if 200 == code: content = response.read() print content |
Get请求抓取实例：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
#!/usr/bin/python# -*- coding: UTF-8 -*-import urllib2import urllib#urllib2使用GET方式的请求url = 'http://www.baidu.com/s'values = {'wd' : '车云'}# 必须编码data = urllib.urlencode(values) url = url + '?' + data print url#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91#创建request对象request = urllib2.Request(url)#发送请求，获取结果try: response = urllib2.urlopen(request)except BaseException, err: print err exit()#获取状态码，如果是200表示获取成功code = response.getcode()print code#读取内容if 200 == code: content = response.read() print content |
希望本文所述对大家Python程序设计有所帮助。
原文链接：https://blog.csdn.net/u013372487/article/details/51733135
