采集网页数据生成自定义EXCEL表格有多简单?
作者:dong 发布于:2018-3-16 17:49 Friday
如何采集网页数据生成自定义EXCEL表格?

当然是用火车浏览器啦!!!
营销人员常需要获取行业最新信息,进而处理成自定义表格,使用火车浏览器可实现采集信息到生成自定义表格一步到位。
可视化自动提取数据,可自动定时更新的超强功能设计,确保能让您及时掌握行业最新数据。
小采妹
本期分享采集安居客合肥地区最新二手房网页数据自动生成EXCEL表格为例。
1
步骤1:打开火车浏览器→右击→点击浏览器→打开网页→输入网址并保存
右击测试运行,可以在软件页面看到打开的网页的页面
2
步骤2:取出每个房源中需要的信息右击→元素操作→单次提取→保存
(提取信息,需要写XPATH提取规则,HTTP://BBS.LOCOYPOSTER.COM/FORUM.PHP?MOD=VIEWTHREAD&TID=541&HIGHLIGHT=XPATH)
保存信息到LIST变量,然后测试提取,结果如图:
3
步骤3:对采集的信息进行处理 右击→元素操作→循环
4
步骤4:对单个源码进行处理 让数据保存到相应的变量 右击→变量处理→变量处理
先对源码进行处理保存到楼盘名这个变量
(1)先打开变量管理→单个源码进行分析
如下图所示:
需要的信息在<SPAN TITLE="和”> 源码之间.
所以写内容截取,设置如下图:
点击确定→点击保存→测试
得到需要信息;(之后其他几个变量,处理过程原理相同。)
最终得到每个需要的信息:
5
步骤5:把采集的信息保存到表格中
需要创建一个数据库文件
如图设置:
(2)写一个查询数据库语句 (目的:为了以后更新数据)
(3)通过变量比较,来判断是否入库右击→逻辑运算→变量比较→保存。
若是则不插入数据,不是则插入数据到创建的数据库中.
这样上个页面就采集完成,接下来采集下一页
步骤六:右击→文件操作→导出EXCEL
右击→元素操作→点击→保存
整个流程如图:
采集后部分数据如图:
好了以上就是今天的所有教程,技术小哥哥小姐姐你们学会了吗?不会的可要收藏一下方便以后回看哦。小采会继续推出一系列教程,让大家更了解我们火车家族的使用方法呢!
PS:免费版脚本只能运行30分钟,无法使用项目管理器,需官方提供技术支持,如需IP代理,脚本定制,公众号里咨询小采或点击下方原文咨询客服。
标签: 火车采集器;
教你如何用火车采集器采集手机app中的数据信息
作者:dong 发布于:2018-3-16 17:27 Friday
随着移动互联网的迅猛发展,各类应用如雨后春笋般涌现出来,人们对智能手机依赖度远超过PC电脑。
对于移动端APP数据内容采集这方面的需求也越来越多,而APP数据采集却是一个难点。
那么对于移动端APP的内容,利用火车采集工具如何采集呢?
1.操作思路:
火车采集器可以像采集普通网站那样采集APP的数据,因为移动APP通过HTTP协议与服务器进行交互的。
网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中的内容。
APP也通过这两种请求类型与服务器进行交互的,这需要分析出接口地址及参数的含义。
2.步骤
1)先将要分析的APP安装到手机上。
2)通过局域网将手机连接到PC。
3)打开抓包工具,先选择网络适配器为手机设备对应的项目 (一定要选对,否则后面捕获不到数据)。
4)启动监听。在手机上操作APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。
5)分析抓包工具监听到的HTTP报文(细心+耐心=成功)。
3.案例:
下面以京东APP为例来介绍具体怎么操作
(1)首先手机上要安装了APP,并且将手机与PC连接传输。
(2)打开抓包工具,查看FIDDLER的端口号,例下图:
(3)查看本地局域网的固定IP,例下图:
(4)在手机中设置代理服务器,将端口号以及IP写入。
如下图所示:
如上图在手机中设置好后,就可以将FIDDLER保持CAPTURING的状态.
然后操作京东的APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。
具体情况如下图所示:
4.然后我们就可以在火车采集器中分析请求写规则,并测试该HTTP是否可以采集。
这样利用网页抓取工具实现APP采集的步骤就基本完成了,大家可以多试几次,增加下操作熟练度。
不过APP和网页一样,我们看不到的数据是采不到的,比如很多人问的后台用户数据如何获取,像是这类信息统统是无法采集的。
好啦,今天的教程就到这里啦,有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题,大家敬请期待呢!
有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的,真的是很棒呢!
图片来源于网络,如有侵权,请联系删除
感谢您抽出时间来阅读此文
做数据采集,我们是专业的!
标签: 火车采集器;
联系我们
联系电话
-
0551-62864156
QQ邮件订阅
最新评论
- industrialegy
<a href="http://www.... - inve
这个采集到的视频地址 应该不是真实地址... - 云南桥架厂
我能说这个妹不错么 - 密密麻麻
win10 64位,处理后会留下原压缩包... - 平行进口车
以前经常用火车,来支持一下。 - 天津网站建设
文章采集器,厉害了 - 骗子医院
这个可以试试! - qq昵称
这么好的帖子,必须顶起来!! - 哈尔滨舒家网
试用一下,看是否能用。希望能用。火车头业... - 誉非
这个下载下来是安装程序,不是视频教程啊。