采集网页数据生成自定义EXCEL表格有多简单？

作者：dong 发布于：2018-3-16 17:49 Friday

如何采集网页数据生成自定义EXCEL表格？



当然是用火车浏览器啦！！！



营销人员常需要获取行业最新信息，进而处理成自定义表格，使用火车浏览器可实现采集信息到生成自定义表格一步到位。

可视化自动提取数据，可自动定时更新的超强功能设计，确保能让您及时掌握行业最新数据。

小采妹



本期分享采集安居客合肥地区最新二手房网页数据自动生成EXCEL表格为例。



1


步骤1：打开火车浏览器→右击→点击浏览器→打开网页→输入网址并保存





  • 右击测试运行，可以在软件页面看到打开的网页的页面





2


步骤2：取出每个房源中需要的信息右击→元素操作→单次提取→保存

（提取信息，需要写XPATH提取规则，HTTP://BBS.LOCOYPOSTER.COM/FORUM.PHP?MOD=VIEWTHREAD&TID=541&HIGHLIGHT=XPATH）




  • 保存信息到LIST变量，然后测试提取，结果如图：





3


步骤3:对采集的信息进行处理 右击→元素操作→循环





4


步骤4：对单个源码进行处理 让数据保存到相应的变量 右击→变量处理→变量处理



  • 先对源码进行处理保存到楼盘名这个变量


（1）先打开变量管理→单个源码进行分析




如下图所示：




  • 需要的信息在<SPAN TITLE="和”> 源码之间.

  • 所以写内容截取,设置如下图：






点击确定→点击保存→测试





  • 得到需要信息；（之后其他几个变量，处理过程原理相同。）

  • 最终得到每个需要的信息:





5


步骤5:把采集的信息保存到表格中

需要创建一个数据库文件

如图设置:




（2）写一个查询数据库语句 （目的：为了以后更新数据）





（3）通过变量比较，来判断是否入库右击→逻辑运算→变量比较→保存。





  • 若是则不插入数据，不是则插入数据到创建的数据库中.






这样上个页面就采集完成，接下来采集下一页


步骤六：右击→文件操作→导出EXCEL






  • 右击→元素操作→点击→保存






  • 整个流程如图：





  • 采集后部分数据如图：





好了以上就是今天的所有教程，技术小哥哥小姐姐你们学会了吗？不会的可要收藏一下方便以后回看哦。小采会继续推出一系列教程，让大家更了解我们火车家族的使用方法呢！



PS:免费版脚本只能运行30分钟，无法使用项目管理器，需官方提供技术支持，如需IP代理，脚本定制，公众号里咨询小采或点击下方原文咨询客服。

标签: 火车采集器；

评论(0) 引用(0) 浏览(16051)

教你如何用火车采集器采集手机app中的数据信息

作者：dong 发布于：2018-3-16 17:27 Friday

随着移动互联网的迅猛发展，各类应用如雨后春笋般涌现出来，人们对智能手机依赖度远超过PC电脑。

对于移动端APP数据内容采集这方面的需求也越来越多，而APP数据采集却是一个难点。

 

那么对于移动端APP的内容，利用火车采集工具如何采集呢？


 

 

1.操作思路：

火车采集器可以像采集普通网站那样采集APP的数据，因为移动APP通过HTTP协议与服务器进行交互的。

网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中的内容。

APP也通过这两种请求类型与服务器进行交互的，这需要分析出接口地址及参数的含义。

 

 

2.步骤

1）先将要分析的APP安装到手机上。

2）通过局域网将手机连接到PC。

3）打开抓包工具，先选择网络适配器为手机设备对应的项目 （一定要选对，否则后面捕获不到数据）。

4）启动监听。在手机上操作APP，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。

5）分析抓包工具监听到的HTTP报文（细心+耐心=成功）。

 

 

3.案例：

下面以京东APP为例来介绍具体怎么操作

（1）首先手机上要安装了APP，并且将手机与PC连接传输。

 

 

（2）打开抓包工具，查看FIDDLER的端口号，例下图：

（3）查看本地局域网的固定IP，例下图：

 

 

（4）在手机中设置代理服务器，将端口号以及IP写入。

如下图所示：

如上图在手机中设置好后，就可以将FIDDLER保持CAPTURING的状态.

然后操作京东的APP，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。

具体情况如下图所示：

 

 

 

4.然后我们就可以在火车采集器中分析请求写规则，并测试该HTTP是否可以采集。

这样利用网页抓取工具实现APP采集的步骤就基本完成了，大家可以多试几次，增加下操作熟练度。

不过APP和网页一样，我们看不到的数据是采不到的，比如很多人问的后台用户数据如何获取，像是这类信息统统是无法采集的。

 

好啦，今天的教程就到这里啦，有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题，大家敬请期待呢！

 

有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的，真的是很棒呢！

图片来源于网络，如有侵权，请联系删除

感谢您抽出时间来阅读此文

做数据采集，我们是专业的！

标签: 火车采集器；

评论(0) 引用(0) 浏览(13729)

Powered by emlog