如何使用python爬取csdn博客访问量

最近学习了python和爬虫，想写一个程序练练手，所以我就想到了大家都比较关心的自己的博客访问量，使用python来获取自己博客的访问量，这也是后边我将要进行的项目的一部分，后边我会对博客的访问量进行分析，以折线图和饼图等可视化的方式展示自己博客被访问的情况，使自己能更加清楚自己的哪些博客更受关注，博客专家请勿喷，因为我不是专家，我听他们说专家本身就有这个功能。

一、网址分析

进入自己的博客页面，网址为：http://blog.csdn.net/xingjiarong 网址还是非常清晰的就是csdn的网址+个人csdn登录账号，我们来看一下下一页的网址。

看到第二页的地址为：http://blog.csdn.net/xingjiarong/article/list/2
后边的数字表示现在正处于第几页，再用其他的页面验证一下，确实是这样的，那么第一页为什么不是http://blog.csdn.net/xingjiarong/article/list/1呢，那么我们在浏览器中输入http://blog.csdn.net/xingjiarong/article/list/1试试，哎，果然是第一页啊，其实第一页是被重定向了，http://blog.csdn.net/xingjiarong被重定向到http://blog.csdn.net/xingjiarong/article/list/1，所以两个网址都能访问第一页，那么现在规律就非常明显了：
http://blog.csdn.net/xingjiarong/article/list/ + 页号

二、如何获取标题

右键查看网页的源代码，我们看到可以找到这样一段代码：

我们可以看到标题都是在标签

所以我们可以使用下面的正则表达式来匹配标题：

三、如何获取访问量

拿到了标题之后，就要获得对应的访问量了，经过对源码的分析，我看到访问量的结构都是这样的：

括号中的数字即为访问量，我们可以用下面的正则表达式来匹配：

四、如何判断是否为尾页

接下来我们要判断当前页是否为最后一页，否则我们就不能判断什么时候结束了，我找到了源码中‘尾页'的标签，发现是下面的结构：

所以我们可以用下面的正则表达式来匹配，如果匹配成功就说明当前页不是最后一页，否则当前页就是最后一页。

五、编程实现

下面是完整的代码实现：

1. #!usr/bin/python 
2. # -*- coding: utf-8 -*- 
3. ''' 
4. Created on 2016年2月13日 
5. @author: xingjiarong 
6. 使用python爬取csdn个人博客的访问量，主要用来练手 
7. ''' 
8. import urllib2 
9. import re 
10. #当前的博客列表页号 
11. page_num = 1 
12. #不是最后列表的一页 
13. notLast = 1 
14. account = str(raw_input('输入csdn的登录账号:')) 
15. while notLast: 
16. #首页地址 
17. baseUrl = 'http://blog.csdn.net/'+account 
18. #连接页号，组成爬取的页面网址 
19. myUrl = baseUrl+'/article/list/'+str(page_num) 
20. #伪装成浏览器访问，直接访问的话csdn会拒绝 
21. user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
22. headers = {'User-Agent':user_agent} 
23. #构造请求 
24. req = urllib2.Request(myUrl,headers=headers) 
25. #访问页面 
26. myResponse = urllib2.urlopen(req) 
27. myPage = myResponse.read() 
28. #在页面中查找是否存在‘尾页'这一个标签来判断是否为最后一页 
29. notLast = re.findall('<a href=".*?">尾页</a>',myPage,re.S) 
30. print '-----------------------------第%d页---------------------------------' % (page_num,) 
31. #利用正则表达式来获取博客的标题 
32. title = re.findall('<span class="link_title"><a href=".*?">(.*?)</a></span>',myPage,re.S) 
33. titleList=[] 
34. for items in title: 
35. titleList.append(str(items).lstrip().rstrip()) 
36. #利用正则表达式获取博客的访问量 
37. view = re.findall('<span class="link_view".*?><a href=".*?" title="阅读次数">阅读</a>((.*?))</span>',myPage,re.S) 
38. viewList=[] 
39. for items in view: 
40. viewList.append(str(items).lstrip().rstrip()) 
41. #将结果输出 
42. for n in range(len(titleList)): 
43. print '访问量:%s 标题:%s' % (viewList[n].zfill(4),titleList[n]) 
44. #页号加1 
45. page_num = page_num + 1 

下面是部分结果：

总结：

使用python编写爬虫，我个人总结了以下的步骤：

1、分析要抓取的网址特征，以确定如何生成相关网页的网址，如果只爬取一个网页，则这一步可以省略。

2、查看网页的源码，分析自己想要爬取的内容所在的标签的特征。

3、使用正则表达式从源码中将自己想要的部分抠出来。

4、编程实现。

以上内容是针对如何使用python爬取csdn博客访问量的相关知识，希望对大家有所帮助。