本文实例为大家分享了python使用webdriver爬取微信公众号的具体代码，供大家参考，具体内容如下
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
|
# -*- coding: utf-8 -*-from selenium import webdriverimport timeimport jsonimport requestsimport reimport random#微信公众号账号user=""#公众号密码password=""#设置要爬取的公众号列表gzlist=['香河微服务']#登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中def weChat_login(): #定义一个空的字典，存放cookies内容 post={} #用webdriver启动谷歌浏览器 print("启动浏览器，打开微信公众号登录界面") driver = webdriver.Chrome(executable_path='E:\\program\\chromedriver.exe') #打开微信公众号登录页面 driver.get('https://mp.weixin.qq.com/') #等待5秒钟 time.sleep(5) print("正在输入微信公众号登录账号和密码......") #清空账号框中的内容 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").clear() #自动填入登录用户名 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[1]/div/span/input").send_keys(user) #清空密码框中的内容 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").clear() #自动填入登录密码 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[1]/div[2]/div/span/input").send_keys(password) # 在自动输完密码之后需要手动点一下记住我 print("请在登录界面点击:记住账号") time.sleep(10) #自动点击登录按钮进行登录 driver.find_element_by_xpath("//*[@id=\"header\"]/div[2]/div/div/form/div[4]/a").click() # 拿手机扫二维码！ print("请拿手机扫码二维码登录公众号") time.sleep(20) print("登录成功") #重新载入公众号登录页，登录之后会显示公众号后台首页，从这个返回内容中获取cookies信息 driver.get('https://mp.weixin.qq.com/') #获取cookies cookie_items = driver.get_cookies() #获取到的cookies是列表形式，将cookies转成json形式并存入本地名为cookie的文本中 for cookie_item in cookie_items: post[cookie_item['name']] = cookie_item['value'] cookie_str = json.dumps(post) with open('cookie.txt', 'w+') as f: f.write(cookie_str) print("cookies信息已保存到本地")#爬取微信公众号文章，并存在本地文本中def get_content(query): #query为要爬取的公众号名称 #公众号主页 url = 'https://mp.weixin.qq.com' #设置headers header = { "HOST": "mp.weixin.qq.com", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0" } #读取上一步获取到的cookies with open('cookie.txt', 'r') as f: cookie = f.read().decode("UTF-8") cookies = json.loads(cookie) #登录之后的微信公众号首页url变化为：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，从这里获取token信息 response = requests.get(url=url, cookies=cookies) token = re.findall(r'token=(\d+)', str(response.url))[0] #搜索微信公众号的接口地址 search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?' #搜索微信公众号接口需要传入的参数，有三个变量：微信公众号token、随机数random、搜索的微信公众号名字 query_id = { 'action': 'search_biz', 'token' : token, 'lang': 'zh_CN', 'f': 'json', 'ajax': '1', 'random': random.random(), 'query': query, 'begin': '0', 'count': '5' } #打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers search_response = requests.get(search_url, cookies=cookies, headers=header, params=query_id) #取搜索结果中的第一个公众号 lists = search_response.json().get('list')[0] #获取这个公众号的fakeid，后面爬取公众号文章需要此字段 fakeid = lists.get('fakeid') #微信公众号文章接口地址 appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?' #搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random query_id_data = { 'token': token, 'lang': 'zh_CN', 'f': 'json', 'ajax': '1', 'random': random.random(), 'action': 'list_ex', 'begin': '0',#不同页，此参数变化，变化规则为每页加5 'count': '5', 'query': '', 'fakeid': fakeid, 'type': '9' } #打开搜索的微信公众号文章列表页 appmsg_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data) #获取文章总数 max_num = appmsg_response.json().get('app_msg_cnt') #每页至少有5条，获取文章总的页数，爬取时需要分页爬 num = int(int(max_num) / 5) #起始页begin参数，往后每页加5 begin = 0 while num + 1 > 0 : query_id_data = { 'token': token, 'lang': 'zh_CN', 'f': 'json', 'ajax': '1', 'random': random.random(), 'action': 'list_ex', 'begin': '{}'.format(str(begin)), 'count': '5', 'query': '', 'fakeid': fakeid, 'type': '9' } print('正在翻页：--------------',begin) #获取每一页文章的标题和链接地址，并写入本地文本中 query_fakeid_response = requests.get(appmsg_url, cookies=cookies, headers=header, params=query_id_data) fakeid_list = query_fakeid_response.json().get('app_msg_list') for item in fakeid_list: content_link=item.get('link') content_title=item.get('title') fileName=query+'.txt' # with open('e://xhwfw.txt','a') as fh: # fh.write(content_title+":\n"+content_link+"\n") print content_title+":\n"+content_link+"\n" num -= 1 begin = int(begin) begin+=5 time.sleep(2)if __name__=='__main__': try: #登录微信公众号，获取登录之后的cookies信息，并保存到本地文本中 weChat_login() #登录之后，通过微信公众号后台提供的微信公众号文章接口爬取文章 for query in gzlist: #爬取微信公众号文章，并存在本地文本中 print("开始爬取公众号："+query) get_content(query) print("爬取完成") except Exception as e: print(str(e)) |
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/lx91216/article/details/77988556
