作者:dong

采集网页数据生成自定义EXCEL表格有多简单?

作者:dong 发布于:2018-3-16 17:49 Friday

如何采集网页数据生成自定义EXCEL表格?



当然是用火车浏览器啦!!!



营销人员常需要获取行业最新信息,进而处理成自定义表格,使用火车浏览器可实现采集信息到生成自定义表格一步到位。

可视化自动提取数据,可自动定时更新的超强功能设计,确保能让您及时掌握行业最新数据。

小采妹



本期分享采集安居客合肥地区最新二手房网页数据自动生成EXCEL表格为例。



1


步骤1:打开火车浏览器→右击→点击浏览器→打开网页→输入网址并保存





  • 右击测试运行,可以在软件页面看到打开的网页的页面





2


步骤2:取出每个房源中需要的信息右击→元素操作→单次提取→保存

(提取信息,需要写XPATH提取规则,HTTP://BBS.LOCOYPOSTER.COM/FORUM.PHP?MOD=VIEWTHREAD&TID=541&HIGHLIGHT=XPATH)




  • 保存信息到LIST变量,然后测试提取,结果如图:





3


步骤3:对采集的信息进行处理 右击→元素操作→循环





4


步骤4:对单个源码进行处理 让数据保存到相应的变量 右击→变量处理→变量处理



  • 先对源码进行处理保存到楼盘名这个变量


(1)先打开变量管理→单个源码进行分析




如下图所示:




  • 需要的信息在<SPAN TITLE="和”> 源码之间.

  • 所以写内容截取,设置如下图:






点击确定→点击保存→测试





  • 得到需要信息;(之后其他几个变量,处理过程原理相同。)

  • 最终得到每个需要的信息:





5


步骤5:把采集的信息保存到表格中

需要创建一个数据库文件

如图设置:




(2)写一个查询数据库语句 (目的:为了以后更新数据)





(3)通过变量比较,来判断是否入库右击→逻辑运算→变量比较→保存。





  • 若是则不插入数据,不是则插入数据到创建的数据库中.






这样上个页面就采集完成,接下来采集下一页


步骤六:右击→文件操作→导出EXCEL






  • 右击→元素操作→点击→保存






  • 整个流程如图:





  • 采集后部分数据如图:





好了以上就是今天的所有教程,技术小哥哥小姐姐你们学会了吗?不会的可要收藏一下方便以后回看哦。小采会继续推出一系列教程,让大家更了解我们火车家族的使用方法呢!



PS:免费版脚本只能运行30分钟,无法使用项目管理器,需官方提供技术支持,如需IP代理,脚本定制,公众号里咨询小采或点击下方原文咨询客服。

标签: 火车采集器;

评论(0) 引用(0) 浏览(17114)

教你如何用火车采集器采集手机app中的数据信息

作者:dong 发布于:2018-3-16 17:27 Friday

随着移动互联网的迅猛发展,各类应用如雨后春笋般涌现出来,人们对智能手机依赖度远超过PC电脑。

对于移动端APP数据内容采集这方面的需求也越来越多,而APP数据采集却是一个难点。

 

那么对于移动端APP的内容,利用火车采集工具如何采集呢?


 

 

1.操作思路:

火车采集器可以像采集普通网站那样采集APP的数据,因为移动APP通过HTTP协议与服务器进行交互的。

网页抓取工具火车采集器是抓取HTTP以及HTTPS请求中的内容。

APP也通过这两种请求类型与服务器进行交互的,这需要分析出接口地址及参数的含义。

 

 

2.步骤

1)先将要分析的APP安装到手机上。

2)通过局域网将手机连接到PC。

3)打开抓包工具,先选择网络适配器为手机设备对应的项目 (一定要选对,否则后面捕获不到数据)。

4)启动监听。在手机上操作APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。

5)分析抓包工具监听到的HTTP报文(细心+耐心=成功)。

 

 

3.案例:

下面以京东APP为例来介绍具体怎么操作

(1)首先手机上要安装了APP,并且将手机与PC连接传输。

 

 

(2)打开抓包工具,查看FIDDLER的端口号,例下图:

(3)查看本地局域网的固定IP,例下图:

 

 

(4)在手机中设置代理服务器,将端口号以及IP写入。

如下图所示:

如上图在手机中设置好后,就可以将FIDDLER保持CAPTURING的状态.

然后操作京东的APP,打开想要采集的页面,此时抓包工具就会显示出该操作触发的网络请求和应答。

具体情况如下图所示:

 

 

 

4.然后我们就可以在火车采集器中分析请求写规则,并测试该HTTP是否可以采集。

这样利用网页抓取工具实现APP采集的步骤就基本完成了,大家可以多试几次,增加下操作熟练度。

不过APP和网页一样,我们看不到的数据是采不到的,比如很多人问的后台用户数据如何获取,像是这类信息统统是无法采集的。

 

好啦,今天的教程就到这里啦,有什么想要提问的盆友们可以在下方留言。我们会综合意见选中提问人数最多的问题开设下一期专题,大家敬请期待呢!

 

有疑问的可以在后台咨询小采或咨询客服。懂技术的小哥哥小姐姐都超帅超美的,真的是很棒呢!

图片来源于网络,如有侵权,请联系删除

感谢您抽出时间来阅读此文

做数据采集,我们是专业的!

标签: 火车采集器;

评论(0) 引用(0) 浏览(15325)

今年双11,您有5次半价抢购的机会!

作者:dong 发布于:2017-11-4 15:42 Saturday

因为没有准备国庆节的活动,被大神们在后台吐槽了整整一个月,心好累。这次再不给出最优惠的力度,小采就真的无颜面对你们啦~来,切入正题,看看火车头为你们准备的双11福利~

本次双11活动分为四趴,每一趴都相当给力,别着急,今天是预告,活动11月6日正式开始哦~~


活动一:每天11点11分半价开抢


11月6日-11月10日每天上午11点11分准时开抢半价优惠码!半价优惠码类别如下:

图片.png

注意哦,数量真的有限,强烈建议您定个闹钟提前锁定活动页面,而且优惠码有效期仅为1天,抢到请立即使用,过期作废!!!


活动二:预付100抵200


通过活动页面的抵用券购买通道预付100元即可在购买软件(除采集器基础版外)时直接抵扣200元现金,预付时间是11月6日-11月10日,使用时间是11月11日-11月20日,付款前联系客服修改价格即可~

关于活动二,小采还没有说完,切记啊小伙伴们,这次活动二是可以与活动三同享的!!!真正的折上折!然鹅活动三是什么内容呢?请往下看 ↓↓↓

 

活动三:500个优惠码,低至6.8折

11月11日至20日按照下面领取方式获取新购优惠码

图片.png


领取方式

第一步:点击顶部蓝色或识别下方二维码关注火车采集器微信公众号,小采在公众号等你哟~

扫码关注微信

第二步:在公众号菜单栏选择个人中心——绑定账号(优惠码将发放至您绑定的账号,未注册账号的请先在官网www.locoy.com注册账号)

第三步:微信公众号回复“双11”领取您需要的优惠码。

 活动四:老用户专享,7折升级续费(领取时间:11月11日至11月20日)


双11怎能少了老用户的福利呢,如果您没能抢到每天11点11分的半价升级优惠码,就请移步活动四,这里有7折升级优惠码,仅需支付版本差价部分的7折就可以体验更高版本的软件了,无需重新购买高版本,进击中的大神又可以解锁新功能啦~

同样的,需要续费的亲们也可以享受7折优惠,目前没到期也没关系,是直接在到期时间的基础上续延的哦~

 

一口气说了这么多,您找到最适合您的领券姿势了吗?小采觉得,咱们与其剁手在吃喝玩乐上,不如先整个高效的采集工具!因为它能帮助我们真正掌握数据领域最基本的技能,开辟工作中的捷径,全面提升个人能力,总为他人鼓掌不如享受他人的掌声,大神们觉得呢?


最后,猛戳下方蓝字进入活动页面吧!

↓↓↓

赶赴双十一现场

评论(0) 引用(0) 浏览(14174)

【通知】火车采集器V9.6发布

作者:dong 发布于:2017-9-14 14:55 Thursday

更新:
1: 多级网址列表,对于列表名增加重命名功能以及上下调整的功能。
2: 修复SqlServer数据库格式下,未能正确显示采集数量的问题。
3: 修复在新增标签时,若上一个编辑为固定格式数据,则新增的标签显示内容错误的问题。
4: 修复数据包登录中,若登录失效,未能自动重新登录的问题。
5: 修复FTP上传失败后,本地数据也被删除的问题。
6: 修复边采集边发时,文件上传FTP失败的问题。
7: 优化Excel保存时,对于ID,PageUrl显示列的位置。
8: 修复任务不能多选操作的问题。
9: 边采集边发布时,最大发布数的功能调整(原:最大发布数无效。 现:最大发布数生效,且在任务完成后,不会将以前的未发布数据再次发布)
10:修复对于存储过程语句,当数据为空值时,意外判断为“语句错误”的问题。
11:二级代理功能,修复定时拨号失效的问题。
12:二级代理功能,定时获取API功能优化,重新获取时,会自动删除上一批数据。
13:批量网址增加数据库导入的模式
14:导出到文件时,对于不合理的错误命名增加提示。
15:导出规则时,对于规则名称过长的规则,增加提示的功能。
16:规则编辑时,对于“包含”、“不包含”数据,复制粘贴多行时,会自动区分为多个数据。
17:添加对于芝麻代理的合作支持。


下载地址:http://www.locoy.com/download

评论(0) 引用(0) 浏览(16032)

采集分析:中国有嘻哈的歌手都在唱什么

作者:dong 发布于:2017-8-26 18:00 Saturday 分类:官方公告

七月嘻哈音乐席卷中国

揭开freestyle的地下王国

蛤蟆镜,肥T恤,夸张的牛仔裤

以前是格格不入现在人人都说Cool

中国rapper唱的想的要的都是啥

看小采用大数据给你们分析一下~

1.jpg

 

这个夏天好像身边的朋友突然都学会了freestyle,什么yaoyao切克闹已经太老套,而每一期的中国有嘻哈都让人看的非常带感,不过那火箭般的语速唱下来,小采表示并没有听清他们唱的都是啥,作为IT行业里试图打破boring标签的跨界小迷妹,当然要发挥出自身的优势,不仅能弄清他们唱的是啥,还会概括他们的特征。


来吧,火车采集器嗨起来,数据分析走起来~~~


既然要采歌词数据当然要确定采集源,网易云音乐的嘻哈榜电台就收录了每一期节目的歌曲,不过虾米音乐的url规律更强,标签也更符合要求,so我们确定采集虾米音乐。

选定歌曲标签——中国有嘻哈。

2.jpg
3.png

 

 哎哟,是Bridge的《老大》,我想在跑车里,想要一辆法拉利~



这种难度的采集规则如果是我们火车头的大神估计几分钟就可以搞定了吧~

附规则截图,想要规则的私聊小采呀~(虾米音乐要登录,记得设置cookie哦~)

4.png
5.png

600首歌曲,进入歌曲详情并采集全部歌词,很快小采就边听着歌边掌握了歌词的小秘密~~然后我们对数据进行一下清洗和中英文的分别分词,最后对分词后的数据进行一番统计就可以得到以热门词汇图展示的高频词汇。 

5.jpg

7.jpg

最终我们发现,“世界”和“时间”占据首位,可见嘻哈歌手们喜欢通过音乐来表达对世界的情绪,或愤懑,或热情全都看心情~而“老子”、“兄弟”、“baby”、“money”、“bitch”、“real” 等词也是让 rapper 的形象呼之欲出。


没错,爱票子也爱妹子,爱兄弟更要接地气。


还有rapper 的词里频繁提到“音乐”、“歌词”、“旋律”、“歌曲”,可见他们对自己的音乐真的非常在乎。嘻哈音乐由于有 freestyle 的文化,对亲自写词有要求,否则就不 “ real ” ,从节目中他们对偶像 rapper 的 diss 也能看出来。


嘻哈人的眼中,豪车和美女是标配,豪车里最爱的是宝马奔驰和法拉利,或许是因为容易匹配韵脚?而夏利却也出现在高频车类词语中,why?后来小采想了想大概是宣泄负面情绪时会用的词汇,比如买不起法拉利因为爸爸只给了一辆夏利。


爱钱爱美女,嘻哈人很接地气。但其实也透露着嘻哈人的说唱生涯并不像他们的着装打扮那样看起来十分随性,他们也受困于经济因素,之前有爆料称人气很高的GAI月收入仅千元左右,每场演出不过三百元,不过现在不知道商家们需要花费多少才请的起呢~~

自这个夏天嘻哈浪潮的掀起,我们对这种音乐方式有了全新的认识,未来中国的rapper大概要迎来一个有嘻哈的全新世界了。


最后,让小采为火车采集器​来一段freestyle~

大数据的时代里

数据价值不可预计

多少个日夜里

火车采集器在陪你

老板不敢炒你鱿鱼

因为你会数据分析

不懂代码也没关系

火车头上手超容易

 

标签: 火车头采集

评论(0) 引用(0) 浏览(15571)

Powered by emlog