python爬取内容存入Excel实例_Python

最近老师布置了个作业，爬取豆瓣top250的电影信息。按照套路，自然是先去看看源代码了，一看，基本的信息竟然都有，心想这可省事多了。简单分析了下源代码，标记出所需信息的所在标签，ok，开始干活！

鉴于正则表达式的资料已经看了不少，所以本次除了beautifulsoup外，还有些re的使用，当然，比较简单。而爬到信息后，以往一般是存到txt文件，或者数据库中，老是重样的操作，难免有些‘厌倦'。心想，干嘛不存到excel表呢？对啊，可以存到excel表。

环境准备：pip install openpyxl (假设你已配好了python环境)

好了，废话少说，上代码。

				?

									# coding=utf-8

									'''

									 function:爬取豆瓣top250的电影信息，并写入excel文件

									'''

									import requests

									import re

									from openpyxl import workbook # 写入excel表所用

									from openpyxl import load_workbook # 读取excel表所用

									from bs4 import beautifulsoup as bs

									import os

									os.chdir('c:\users\administrator\desktop') # 更改工作目录为桌面

									def gethtml(src):

									 html = requests.get(src).content

									 getdata(html, src) # 首页链接和其他页不同，所以单独获取信息

									 urls = re.findall('href="(.*filter=?)', html) # re获取获取跳转链接的href

									 for u in range(len(urls) - 2): # 匹配到的跳转链接最后两个重复，需去掉

									  next_url = 'https://movie.douban.com/top250' + urls[u]

									  html = requests.get(next_url).content

									  getdata(html, next_url)

									def getdata(html, num_url): # html:网页源码 ，num_url:页面链接

									 global ws # 全局工作表对象

									 name = [] # 存储电影名

									 dr = [] # 存储导演信息

									 ma = [] # 存储主演信息

									 si = [] # 存储简介

									 r_score = [] # 存储评分

									 r_count = [] # 存储评论人数

									 r_year = [] # 存储年份

									 r_area = [] # 存储地区

									 r_about = [] # 存储剧情类型

									 soup = bs(html, 'lxml')

									 for n in soup.find_all('div', class_='hd'):

									  # ts = n.contents[1].text # 得到电影的所有名称

									  ts = n.contents[1].text.strip().split('/')[0] # 得到电影中文名

									  name.append(ts)

									 for p in soup.find_all('p', class_=''):

									  infor = p.text.strip().encode('utf-8') #此处用utf-8编码，以免下面查找 ‘主演'下标报错

									  ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地区

									  r_year.append(ya.split('/')[0]) # 得到年份

									  r_area.append(ya.split('/')[1]) # 得到地区

									  r_about.append(infor[infor.rindex('/') + 1:]) # rindex函数取最后一个/下标，得到剧情类型

									  try:

									   sub = infor.index('主演') # 取得主演下标

									   dr.append(infor[0:sub].split(':')[1]) # 得到导演信息

									   mh = infor[sub:].split(':')[1] # 得到主演后面的信息

									   ma.append(re.split('[1-2]+', mh)[0]) # 正则切片得到主演信息

									  except:

									   print '无主演信息'

									   dr.append(infor.split(':')[1].split('/')[0])

									   ma.append('无介绍...')

									 for r in soup.find_all('div', class_='star'):

									  rs = r.contents # 得到该div的子节点列表

									  r_score.append(rs[3].text) # 得到评分

									  r_count.append(rs[7].text) # 得到评论人数

									 for s in soup.find_all('span', 'inq'):

									  si.append(s.text) # 得到简介

									 if len(si) < 25:

									  for k in range(25 - len(si)):

									   si.append('本页有的电影没简介，建议查看核对，链接:' + num_url)

									 for i in range(25): # 每页25条数据,写入工作表中

									  ws.append([name[i], r_year[i], r_area[i], r_about[i],

									     dr[i], ma[i], r_score[i], r_count[i], si[i]])

									if __name__ == '__main__':

									 # 读取存在的excel表测试

									 #  wb = load_workbook('test.xlsx') #加载存在的excel表

									 #  a_sheet = wb.get_sheet_by_name('sheet1') #根据表名获取表对象

									 #  for row in a_sheet.rows: #遍历输出行数据

									 #   for cell in row: #每行的每一个单元格

									 #    print cell.value,

									 # 创建excel表并写入数据

									 wb = workbook.workbook() # 创建excel对象

									 ws = wb.active # 获取当前正在操作的表对象

									 # 往表中写入标题行,以列表形式写入！

									 ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])

									 src = 'https://movie.douban.com/top250'

									 gethtml(src)

									 wb.save('test2.xlsx') # 存入所有信息后，保存为filename.xlsx