dong - 火车采集器官方博客

教你如何用火车采集器采集手机app中的数据信息

作者：dong 发布于：2018-3-16 17:27 Friday

随着移动互联网的迅猛发展，各类应用如雨后春笋般涌现出来，人们对智能手机依赖度远超过PC电脑。

对于移动端APP数据内容采集这方面的需求也越来越多，而APP数据采集却是一个难点。

那么对于移动端APP的内容，利用火车采集工具如何采集呢？

1.操作思路：

火车采集器可以像采集普通网站那样采集APP的数据，因为移动APP通过HTTP协议与服务器进行交互的。

网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中的内容。

APP也通过这两种请求类型与服务器进行交互的，这需要分析出接口地址及参数的含义。

2.步骤

1）先将要分析的APP安装到手机上。

2）通过局域网将手机连接到PC。

3）打开抓包工具，先选择网络适配器为手机设备对应的项目（一定要选对，否则后面捕获不到数据）。

4）启动监听。在手机上操作APP，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。

5）分析抓包工具监听到的HTTP报文（细心+耐心=成功）。

3.案例：

下面以京东APP为例来介绍具体怎么操作

（1）首先手机上要安装了APP，并且将手机与PC连接传输。

（2）打开抓包工具，查看FIDDLER的端口号，例下图：

（3）查看本地局域网的固定IP，例下图：

（4）在手机中设置代理服务器，将端口号以及IP写入。

如下图所示：

如上图在手机中设置好后，就可以将FIDDLER保持CAPTURING的状态.

然后操作京东的APP，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。

具体情况如下图所示：

4.然后我们就可以在火车采集器中分析请求写规则，并测试该HTTP是否可以采集。

这样利用网页抓取工具实现APP采集的步骤就基本完成了，大家可以多试几次，增加下操作熟练度。

不过APP和网页一样，我们看不到的数据是采不到的，比如很多人问的后台用户数据如何获取，像是这类信息统统是无法采集的。

好啦，今天的教程就到这里啦，有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题，大家敬请期待呢！

有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的，真的是很棒呢！

图片来源于网络，如有侵权，请联系删除

感谢您抽出时间来阅读此文

做数据采集，我们是专业的！

标签: 火车采集器；

评论(0) 引用(0) 浏览(13211)

今年双11，您有5次半价抢购的机会！

作者：dong 发布于：2017-11-4 15:42 Saturday

因为没有准备国庆节的活动，被大神们在后台吐槽了整整一个月，心好累。这次再不给出最优惠的力度，小采就真的无颜面对你们啦~来，切入正题，看看火车头为你们准备的双11福利~

本次双11活动分为四趴，每一趴都相当给力，别着急，今天是预告，活动11月6日正式开始哦~~

活动一：每天11点11分半价开抢

11月6日-11月10日每天上午11点11分准时开抢半价优惠码！半价优惠码类别如下：

图片.png

注意哦，数量真的有限，强烈建议您定个闹钟提前锁定活动页面，而且优惠码有效期仅为1天，抢到请立即使用，过期作废!!!

活动二：预付100抵200

通过活动页面的抵用券购买通道预付100元即可在购买软件（除采集器基础版外）时直接抵扣200元现金，预付时间是11月6日-11月10日，使用时间是11月11日-11月20日，付款前联系客服修改价格即可~

关于活动二，小采还没有说完，切记啊小伙伴们，这次活动二是可以与活动三同享的！！！真正的折上折！然鹅活动三是什么内容呢？请往下看 ↓↓↓

活动三：500个优惠码，低至6.8折

11月11日至20日按照下面领取方式获取新购优惠码

图片.png

领取方式

第一步：点击顶部蓝色或识别下方二维码关注火车采集器微信公众号，小采在公众号等你哟~

扫码关注微信

第二步：在公众号菜单栏选择个人中心——绑定账号（优惠码将发放至您绑定的账号，未注册账号的请先在官网www.locoy.com注册账号）

第三步：微信公众号回复“双11”领取您需要的优惠码。

活动四：老用户专享，7折升级续费（领取时间：11月11日至11月20日）

双11怎能少了老用户的福利呢，如果您没能抢到每天11点11分的半价升级优惠码，就请移步活动四，这里有7折升级优惠码，仅需支付版本差价部分的7折就可以体验更高版本的软件了，无需重新购买高版本，进击中的大神又可以解锁新功能啦~

同样的，需要续费的亲们也可以享受7折优惠，目前没到期也没关系，是直接在到期时间的基础上续延的哦~

一口气说了这么多，您找到最适合您的领券姿势了吗？小采觉得，咱们与其剁手在吃喝玩乐上，不如先整个高效的采集工具！因为它能帮助我们真正掌握数据领域最基本的技能，开辟工作中的捷径，全面提升个人能力，总为他人鼓掌不如享受他人的掌声，大神们觉得呢？

最后，猛戳下方蓝字进入活动页面吧！

↓↓↓

赶赴双十一现场

评论(0) 引用(0) 浏览(13035)

更新：
1：多级网址列表，对于列表名增加重命名功能以及上下调整的功能。
2：修复SqlServer数据库格式下，未能正确显示采集数量的问题。
3：修复在新增标签时，若上一个编辑为固定格式数据，则新增的标签显示内容错误的问题。
4：修复数据包登录中，若登录失效，未能自动重新登录的问题。
5：修复FTP上传失败后，本地数据也被删除的问题。
6：修复边采集边发时，文件上传FTP失败的问题。
7：优化Excel保存时，对于ID，PageUrl显示列的位置。
8：修复任务不能多选操作的问题。
9：边采集边发布时，最大发布数的功能调整（原：最大发布数无效。现：最大发布数生效，且在任务完成后，不会将以前的未发布数据再次发布）
10：修复对于存储过程语句，当数据为空值时，意外判断为“语句错误”的问题。
11：二级代理功能，修复定时拨号失效的问题。
12：二级代理功能，定时获取API功能优化，重新获取时，会自动删除上一批数据。
13：批量网址增加数据库导入的模式
14：导出到文件时，对于不合理的错误命名增加提示。
15：导出规则时，对于规则名称过长的规则，增加提示的功能。
16：规则编辑时，对于“包含”、“不包含”数据，复制粘贴多行时，会自动区分为多个数据。
17：添加对于芝麻代理的合作支持。

下载地址：http://www.locoy.com/download

评论(0) 引用(0) 浏览(14683)

采集分析：中国有嘻哈的歌手都在唱什么

作者：dong 发布于：2017-8-26 18:00 Saturday 分类：官方公告

七月嘻哈音乐席卷中国

揭开freestyle的地下王国

蛤蟆镜，肥T恤，夸张的牛仔裤

以前是格格不入现在人人都说Cool

中国rapper唱的想的要的都是啥

看小采用大数据给你们分析一下~

这个夏天好像身边的朋友突然都学会了freestyle，什么yaoyao切克闹已经太老套，而每一期的中国有嘻哈都让人看的非常带感，不过那火箭般的语速唱下来，小采表示并没有听清他们唱的都是啥，作为IT行业里试图打破boring标签的跨界小迷妹，当然要发挥出自身的优势，不仅能弄清他们唱的是啥，还会概括他们的特征。

来吧，火车采集器嗨起来，数据分析走起来~~~

既然要采歌词数据当然要确定采集源，网易云音乐的嘻哈榜电台就收录了每一期节目的歌曲，不过虾米音乐的url规律更强，标签也更符合要求，so我们确定采集虾米音乐。

选定歌曲标签——中国有嘻哈。