服务器之家

服务器之家 > 正文

用Python爬取某乎手机APP数据

时间:2021-12-01 10:16     来源/作者:不加班的程序员丶

一、配置抓包工具

1.安装软件

本文选择的抓包工具:Fiddler  

具体的下载安装这里不详细赘述!(网上搜Fiddler安装,一大堆教程),本文以实战为例,就不再这里浪费时间了!

2.配置Fiddler

安装好之后,接下来就开始配置Fiddler工具(这里是关键,仔细阅读!

配置Connections

打开Fiddler后,点击Tools->Options

用Python爬取某乎手机APP数据

点击Connections

用Python爬取某乎手机APP数据

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密,包括本文实战『某乎』案例也是https加密,因此配置HTTPS,来抓取https数据包!

用Python爬取某乎手机APP数据

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler重启Fiddler重启Fiddler!不然可能不生效

二、配置手机代理

 1.设置代理

准备工作

首先看一下安装Fiddler主机ip(电脑和手机必须处于同一局域网

查看ip命令

 window:ipconfig

用Python爬取某乎手机APP数据

开始配置

目标代理主机信息
ip:192.168.31.195

端口:8888

在wifi无线网处进去,点击配置代理

填写好相关代理信息

用Python爬取某乎手机APP数据

2.安装证书

在浏览器输入:

 http://192.168.31.195:8888

用Python爬取某乎手机APP数据

点击下载证书后,下面就开始安装(看图操作

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

用Python爬取某乎手机APP数据

ok,这样手机端就配置完成,下面开始抓取数据!!!

三、抓取数据

1.打开某乎app

用Python爬取某乎手机APP数据

2.查看数据包列表

打开app之后,Fiddler就已经抓取到数据了

用Python爬取某乎手机APP数据

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎(只看目标的数据包),添加一个过滤条件

用Python爬取某乎手机APP数据

这样我们获取的数据包列表就都是过滤条件内的目标网址

用Python爬取某乎手机APP数据

3.查找数据包

比如点击热榜

用Python爬取某乎手机APP数据

对应的https加密数据包如下:

用Python爬取某乎手机APP数据

数据包中的数据如下:

用Python爬取某乎手机APP数据

提取出url链接

用Python爬取某乎手机APP数据

 https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

拿到url之后,接着开始编程爬取保存数据。

4.编写爬虫程序

 # -*- coding: utf-8 -*-

用Python爬取某乎手机APP数据

ok这样就可以将数据获取下来!

四、总结

1.配置抓包工具Fiddler(重点)。

2.ios苹果手机配置证书和设置代理(安卓手机也类似)。

3.简单使用Fiddler(过滤数据包、查看数据包等)。

4.本文以某乎为实战,实现了python爬取手机app数据

到此这篇关于用Python爬取某乎手机APP数据的文章就介绍到这了,更多相关Python爬取APP数据内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/lh9987/article/details/117855406
 

相关文章

热门资讯

yue是什么意思 网络流行语yue了是什么梗
yue是什么意思 网络流行语yue了是什么梗 2020-10-11
背刺什么意思 网络词语背刺是什么梗
背刺什么意思 网络词语背刺是什么梗 2020-05-22
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全
2020微信伤感网名听哭了 让对方看到心疼的伤感网名大全 2019-12-26
2021年耽改剧名单 2021要播出的59部耽改剧列表
2021年耽改剧名单 2021要播出的59部耽改剧列表 2021-03-05
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总
苹果12mini价格表官网报价 iPhone12mini全版本价格汇总 2020-11-13
返回顶部