搜索:v7

花瓣网—瀑布流数据采集思路详解

作者:dong 发布于:2018-4-2 17:48 Monday

上一期我们讲了如何利用火车采集器采集手机app中的数据信息,小伙伴们不知道看完之后有没有自己手操一遍呢?小采在后台整理留言发现,很多采友都对网站瀑布流数据采集的思路不甚了解,所以今天我们就向大家介绍一下关于网站瀑布流数据的采集思路吧。

1



瀑布流,又称瀑布流式布局。是比较流行的一种网站页面布局。

视觉表现为参差不齐的多栏布局,随着页面滚动条向下滚动,这种布局还会不断加载数据块并附加至当前尾部。

用户一眼扫过的快速阅读模式可以在短时间内获得更多的信息量,而瀑布流里懒加载模式又避免了用户鼠标点击的翻页操作。

错落有致,定宽而不定高的设计让页面区别于传统的矩阵式图片布局模式,巧妙的利用视觉层级,视线的任意流动又缓解了视觉疲劳,同时给人以不拘一格的感觉。

切中年轻一族的个性化心理。所以这种页面布局在现今饱受欢迎。

那么如何采集瀑布流数据呢?

今天我们以花瓣网为例,向大家解说一下:

花瓣网—瀑布流数据采集思路

2



1. 拿到网页后,分析网页的形式,得出网页为瀑布流形式,需要通过FIDDLER抓包获取真实地址

HTTP://HUABAN.COM/EXPLORE/UISHUJU/?JF22V0AV&MAX=1356497171&LIMIT=200&WFL=1

修改下LIMIT参数为200,这样采集器可以获取200个列表页。

3



2. 编写网址采集规则

4



3. 获取列表页后,设置内容采集规则

图片采集用到了商业版的功能,内容添加前后缀。

注意事项:这个网页使用瀑布流形式,需要抓包获取真实地址

FIDDLER抓包教程HTTP://FAQ.LOCOY.COM/Q-755.HTML

抓包工具小伙伴们可以自行百度下载安装,操作很简单。

好了,不知道小伙伴们有没有看懂呢?不管会不会,回去点开火车采集器先跟着教程做一遍吧。实际操作之后,你就会发现原来瀑布数据采集并没有想象中的那么难。

 

 

标签: 瀑布流

评论(0) 引用(0) 浏览(8660)

采集网页数据生成自定义EXCEL表格有多简单?

作者:dong 发布于:2018-3-16 17:49 Friday

如何采集网页数据生成自定义EXCEL表格?



当然是用火车浏览器啦!!!



营销人员常需要获取行业最新信息,进而处理成自定义表格,使用火车浏览器可实现采集信息到生成自定义表格一步到位。

可视化自动提取数据,可自动定时更新的超强功能设计,确保能让您及时掌握行业最新数据。

小采妹



本期分享采集安居客合肥地区最新二手房网页数据自动生成EXCEL表格为例。



1


步骤1:打开火车浏览器→右击→点击浏览器→打开网页→输入网址并保存





  • 右击测试运行,可以在软件页面看到打开的网页的页面





2


步骤2:取出每个房源中需要的信息右击→元素操作→单次提取→保存

(提取信息,需要写XPATH提取规则,HTTP://BBS.LOCOYPOSTER.COM/FORUM.PHP?MOD=VIEWTHREAD&TID=541&HIGHLIGHT=XPATH)




  • 保存信息到LIST变量,然后测试提取,结果如图:





3


步骤3:对采集的信息进行处理 右击→元素操作→循环





4


步骤4:对单个源码进行处理 让数据保存到相应的变量 右击→变量处理→变量处理



  • 先对源码进行处理保存到楼盘名这个变量


(1)先打开变量管理→单个源码进行分析




如下图所示:




  • 需要的信息在<SPAN TITLE="和”> 源码之间.

  • 所以写内容截取,设置如下图:






点击确定→点击保存→测试





  • 得到需要信息;(之后其他几个变量,处理过程原理相同。)

  • 最终得到每个需要的信息:





5


步骤5:把采集的信息保存到表格中

需要创建一个数据库文件

如图设置:




(2)写一个查询数据库语句 (目的:为了以后更新数据)





(3)通过变量比较,来判断是否入库右击→逻辑运算→变量比较→保存。





  • 若是则不插入数据,不是则插入数据到创建的数据库中.






这样上个页面就采集完成,接下来采集下一页


步骤六:右击→文件操作→导出EXCEL






  • 右击→元素操作→点击→保存






  • 整个流程如图:





  • 采集后部分数据如图:





好了以上就是今天的所有教程,技术小哥哥小姐姐你们学会了吗?不会的可要收藏一下方便以后回看哦。小采会继续推出一系列教程,让大家更了解我们火车家族的使用方法呢!



PS:免费版脚本只能运行30分钟,无法使用项目管理器,需官方提供技术支持,如需IP代理,脚本定制,公众号里咨询小采或点击下方原文咨询客服。

标签: 火车采集器;

评论(0) 引用(0) 浏览(17114)

火车采集器V7V8版本无法登录的解决办法

作者:小文 发布于:2016-5-12 23:28 Thursday 分类:官方公告

非常抱歉,因为原V7V8版本验证服务器失效和故障,部分朋友无法登录软件。出现这种情况,请下载本文附件包,解压其中对应版本中的文件,替换掉System文件夹中对应文件,然后重新登录即可。点击下载更新包。

火车采集器官方网站上所有完整包也更新完成,可以下载使用。

标签: 登录

评论(4) 引用(0) 浏览(11829)

火车采集器抓取的数据能直接存入oracle的blob字段

作者:小文 发布于:2013-5-15 10:11 Wednesday 分类:常见问题

火车采集器从v7版本开始,就支持将采集的数据直接导入到oracle的blob字段了。在这里,导入分为两种情况

1.字段中的数据量少于4000个字符,支持所有insert ,update。

2.字段中的数据量大于4000个字符,即只支持 insert into a () values () 这样的格式,也只是insert,其它的update什么的不支持。这个是程序专门对sql语法进行重新解析并生成相应的处理办法,所以语法限制严格。

标签: oracle

评论(0) 引用(0) 浏览(14036)

V8版中“获取更新远程采集规则”功能介绍

作者:小文 发布于:2013-4-18 13:54 Thursday 分类:开发计划

如何将自己做好的采集规则同步到其它的电脑上?如何与同事分享已设置好的采集规则?如何快速的去批量更新用户的采集规则?新版v8增加了 获取更新远程采集规则 功能,能更方便的实现以上需求。

 

该功能植根于火车采集器v7版本的http服务器功能,用户只要开启了该功能,即可以将当前的采集器中的采集规则提供给用户下载和更新。服务端可以设置用户名密码来实现可控的访问。客户端只要连接上服务端,即可以下载更新服务端的采集规则。客户端用户在使用采集器的过程中,如果服务端的规则有更新,客户端还可以收到提醒,可以一键更新,还可以有选择的更新。

点击查看原图

 

 

 

标签: 规则

评论(5) 引用(0) 浏览(8679)

Powered by emlog