本文实例讲述了python爬虫实现爬取百度百科词条功能。分享给大家供大家参考，具体如下：
爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。爬虫从一个或若干初始网页的url开始，获得初始网页上的url，在抓取网页的过程中，不断从当前页面上抽取新的url放入队列,直到满足系统的一定停止条件。爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的url队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页url，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索。常见的爬虫框架有scrapy等。
自定义爬虫程序一般包含：url管理器、网页下载器、网页解析器、输出处理器。
以下我写了一个爬取百度百科词条的实例。
爬虫主程序入口
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
from crawler_test.html_downloader import urldownloaderfrom crawler_test.html_outer import htmlouterfrom crawler_test.html_parser import htmlparserfrom crawler_test.url_manager import urlmanager# 爬虫主程序入口class maincrawler(): def __init__(self): # 初始值，实例化四大处理器：url管理器，下载器，解析器，输出器 self.urls = urlmanager() self.downloader = urldownloader() self.parser = htmlparser() self.outer = htmlouter() # 开始爬虫方法 def start_craw(self, main_url): print('爬虫开始...') count = 1 self.urls.add_new_url(main_url) while self.urls.has_new_url(): try: new_url = self.urls.get_new_url() print('爬虫%d,%s' % (count, new_url)) html_cont = self.downloader.down_load(new_url) new_urls, new_data = self.parser.parse(new_url, html_cont) # 将解析出的url放入url管理器，解析出的数据放入输出器中 self.urls.add_new_urls(new_urls) self.outer.conllect_data(new_data) if count >= 10:# 控制爬取的数量 break count += 1 except: print('爬虫失败一条') self.outer.output() print('爬虫结束。')if __name__ == '__main__': main_url = 'https://baike.baidu.com/item/python/407313' mc = maincrawler() mc.start_craw(main_url) |
url管理器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
|
# url管理器class urlmanager(): def __init__(self): self.new_urls = set() # 待爬取 self.old_urls = set() # 已爬取 # 添加一个新的url def add_new_url(self, url): if url is none: return elif url not in self.new_urls and url not in self.old_urls: self.new_urls.add(url) # 批量添加url def add_new_urls(self, urls): if urls is none or len(urls) == 0: return else: for url in urls: self.add_new_url(url) # 判断是否有url def has_new_url(self): return len(self.new_urls) != 0 # 从待爬取的集合中获取一个url def get_new_url(self): new_url = self.new_urls.pop() self.old_urls.add(new_url) return new_url |
网页下载器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
from urllib import request# 网页下载器class urldownloader(): def down_load(self, url): if url is none: return none else: rt = request.request(url=url, method='get') # 发get请求 with request.urlopen(rt) as rp: # 打开网页 if rp.status != 200: return none else: return rp.read() # 读取网页内容 |
网页解析器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
import refrom urllib import parsefrom bs4 import beautifulsoup# 网页解析器，使用beautifulsoupclass htmlparser(): # 每个词条中，可以有多个超链接 # main_url指url公共部分，如“https://baike.baidu.com/” def _get_new_url(self, main_url, soup): # baike.baidu.com/ # <a target="_blank" href="/item/%e8%ae%a1%e7%ae%97%e6%9c%ba%e7%a8%8b%e5%ba%8f%e8%ae%be%e8%ae%a1%e8%af%ad%e8%a8%80" rel="external nofollow" >计算机程序设计语言</a> new_urls = set() # 解析出main_url之后的url部分 child_urls = soup.find_all('a', href=re.compile(r'/item/(\%\w{2})+')) for child_url in child_urls: new_url = child_url['href'] # 再拼接成完整的url full_url = parse.urljoin(main_url, new_url) new_urls.add(full_url) return new_urls # 每个词条中，只有一个描述内容，解析出数据（词条，内容） def _get_new_data(self, main_url, soup): new_datas = {} new_datas['url'] = main_url # <dd class="lemmawgt-lemmatitle-title"><h1>计算机程序设计语言</h1>... new_datas['title'] = soup.find('dd', class_='lemmawgt-lemmatitle-title').find('h1').get_text() # class="lemma-summary" label-module="lemmasummary"... new_datas['content'] = soup.find('div', attrs={'label-module': 'lemmasummary'}, class_='lemma-summary').get_text() return new_datas # 解析出url和数据（词条，内容） def parse(self, main_url, html_cont): if main_url is none or html_cont is none: return soup = beautifulsoup(html_cont, 'lxml', from_encoding='utf-8') new_url = self._get_new_url(main_url, soup) new_data = self._get_new_data(main_url, soup) return new_url, new_data |
输出处理器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
|
# 输出器class htmlouter(): def __init__(self): self.datas = [] # 先收集数据 def conllect_data(self, data): if data is none: return self.datas.append(data) return self.datas # 输出为html def output(self, file='output_html.html'): with open(file, 'w', encoding='utf-8') as fh: fh.write('<html>') fh.write('<head>') fh.write('<meta charset="utf-8"></meta>') fh.write('<title>爬虫数据结果</title>') fh.write('</head>') fh.write('<body>') fh.write( '<table style="border-collapse:collapse; border:1px solid gray; width:80%; word-break:break-all; margin:20px auto;">') fh.write('<tr>') fh.write('<th style="border:1px solid black; width:35%;">url</th>') fh.write('<th style="border:1px solid black; width:15%;">词条</th>') fh.write('<th style="border:1px solid black; width:50%;">内容</th>') fh.write('</tr>') for data in self.datas: fh.write('<tr>') fh.write('<td style="border:1px solid black">{0}</td>'.format(data['url'])) fh.write('<td style="border:1px solid black">{0}</td>'.format(data['title'])) fh.write('<td style="border:1px solid black">{0}</td>'.format(data['content'])) fh.write('</tr>') fh.write('</table>') fh.write('</body>') fh.write('</html>') |
效果（部分）：
希望本文所述对大家python程序设计有所帮助。
原文链接：https://www.cnblogs.com/wcwnina/p/8619084.html
