随着移动互联网的迅猛发展,各类应用如雨后春笋般涌现出来,人们对智能手机依赖度远超过PC电脑。
对于移动端APP数据内容采集这方面的需求也越来越多,而APP数据采集却是一个难点。
那么对于移动端APP的内容,利用火车采集工具如何采集呢?
1.操作思路:
火车采集器可以像采集普通网站那样采集APP的数据,因为移动APP通过HTTP协议与服务器进行交互的。
网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中的内容。
APP也通过这两种请求类型与服务器进行交互的,这需要分析出接口地址及参数的含义。
2.步骤
1)先将要分析的APP安装到手机上。
2)通过局域网将手机连接到PC。
3)打开抓包工具,先选择网络适配器为手机设备对应的项目 (一定要选对,否则后面捕获不到数据)。
4)启动监听。在手机上操作APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。
5)分析抓包工具监听到的HTTP报文(细心+耐心=成功)。
3.案例:
下面以京东APP为例来介绍具体怎么操作
(1)首先手机上要安装了APP,并且将手机与PC连接传输。
(2)打开抓包工具,查看FIDDLER的端口号,例下图:
(3)查看本地局域网的固定IP,例下图:
(4)在手机中设置代理服务器,将端口号以及IP写入。
如下图所示:
如上图在手机中设置好后,就可以将FIDDLER保持CAPTURING的状态.
然后操作京东的APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。
具体情况如下图所示:
4.然后我们就可以在火车采集器中分析请求写规则,并测试该HTTP是否可以采集。
这样利用网页抓取工具实现APP采集的步骤就基本完成了,大家可以多试几次,增加下操作熟练度。
不过APP和网页一样,我们看不到的数据是采不到的,比如很多人问的后台用户数据如何获取,像是这类信息统统是无法采集的。
好啦,今天的教程就到这里啦,有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题,大家敬请期待呢!
有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的,真的是很棒呢!
图片来源于网络,如有侵权,请联系删除
感谢您抽出时间来阅读此文
做数据采集,我们是专业的!