搜索:v7

【笑cry】采集世界杯微博网友评论, 那些你不知道的世界杯小故事

作者:dong 发布于:2018-6-22 15:45 Friday

4年一次的世界杯终于要进入倒计时了,从来不爱看球只爱看网友吐槽世界杯段子的我也终于要将罪恶之手伸向世界杯这只纯洁的“赤裸小羔羊了”。今天我们来采集一些有关于世界杯的有趣数据。

但在下手之前我们先看一下本届世界杯场外场内那些令我们瞠目结舌的”骚操作“。

场内:
A组

小组赛首轮战罢,谁能想到,

现在最有冠军相的不是梅西的阿根廷,

不是J罗的哥伦比亚,也不是内马尔的巴西,

而是普京的俄罗斯

1.jpg

在一众传统豪强遭遇冷门之后,仅仅只有德国是输掉比赛的那一支豪强。并且是所有欧洲球队中唯一没有进球的球队。

毕竟,卫冕冠军小组赛被淘汰可是专业的。

2.jpg

场外:
B组

比女人更善变的是一个沉迷于世界杯赌球的“甲方爸爸”,偷师习得卖土耳其冰淇淋球小哥的独门手艺,没人比他更秀啦!

3.jpg

C罗身上最性感的东西是什么我不知道,但看这老兄的手,心里突然慌得一批,怎莫办!我也好想摸,是C罗啊!(此处省略万千渴望表情)

4.jpg

2018俄罗斯世界杯

咳咳咳,话题有点歪,我们是一款正经的大数据采集器,上面的心声绝对不是我内心真正的想法(见仁见智)。

今天我们要做的是采集新浪微博超话“#世界杯吐槽大会#”的网友评论数据,分析网友们最感兴趣的世界杯吐槽点在哪里。

★
下文是小采精心烹饪的采集教程,望签收。
★

1、先打开我们要采集的新浪微博的界面,搜索#世界杯吐槽大会#超级话题,点击登入输入用户名和密码

5.jpg

接着打开网页,点击登入加元素写值步骤来完成操作

6.jpg

2、用循环加条件判断来判断页面是否加载完成

7.png

3、做浏览器设置允许弹出新的标签页,来实现后面都评论页面的采集

9.png

4、用滚动条加单次取值来取出所有的发文内容

10.png

5、通过对网站的分析,评论有三种情况:

(1)无评论

(2)评论少,无需点入详情页去采集评论

(3)评论多,需要点入详情页采集评论

所以要写多个判断来,应对不同的情况

若评论多则判断是否有

若有则点击查看更多,然后进去内容详情,用滚动条操作加单次取值,取出评论

之后用标签页操作回到列表页

若评论少则直接单次取值所有评论

11.png

采集之后点击下一页然后清空计数器,采集下一页评论

6、用变量处理加变量转换 得到我们要处理的文本变量

12.png

7、之后用中文分词功能来获取世界杯期间微博的高频词,看网友们对世界杯感兴趣的关键词

13.png

得到结果

14.png

处理一下上表中数据我们就可以看到这样一张图

15.jpg

从图中我们可以看到,日本队的胜出在中国网民心中影响颇大,毕竟,国足是中国球迷心中永远的痛,网上甚至有这种言论;

16.png

与日本一起被人提起的还有强队哥伦比亚,人们都很叹息,哥伦比亚竟然惜败日本,这只能说的确是时运不济了。

最令人意外的是本届世界杯“普京表情包”在中国网络上的病毒式走红,事情的起因是这样的。

本届世界杯的第一场比赛:

沙特阿拉伯 vs 俄罗斯。

赛前,众多球迷参与预测本场比赛的比分,

预测结果以2:0、2:1或3:1居多,

可谁也没想到,

沙特竟然被俄罗斯踢了个5:0… 

17.gif

先不说沙特球员心理是如何崩溃的,来说说两国领导。坐在看台上的两位大人物的戏,

绝对比赛场上的比赛还要精彩!

在图片左边的,就是沙特的王储,

坐在中间位置的,是国际足联主席因凡蒂诺,

在图片最右边的,是大名鼎鼎的俄罗斯总统普京。

你以为这三个人会老老实实看球吗?!

最终,

这场会面变成了普京摊手表演集锦…

准备好了吗?3,2,1,Action。

在俄罗斯1:0领先沙特时,

普京总统双手一摊,

随后和沙特王储握手。

18.jpg

这时他会说什么呢?

不要意思,我们先进一个热热场…

夹在中间的因凡蒂诺也跟着普京一起摊了摊手,

气氛略显尴尬…

而坐在一旁的沙特王储则表现的还算淡定,

毕竟才进一个球,还有翻盘的机会。

不久之后,俄罗斯就3:0领先沙特了,

这次因凡蒂诺反而先摊手表示,

不关我的事啊…

19.jpg

有网友表示,足联主席内心戏应该是这样的:

等到了5:0的时候,沙特王储脸上笑容逐渐消失…

普京再度摊开大手,

因凡蒂诺夹在中间根本不知道说什么好…

20.jpg

比赛结束后,

沙特王储和普京总统紧紧地拥抱了一下,

友谊第一,比赛第二,

有这样的风度也不愧为一国之首。

就是不知道明年俄罗斯油价是不是又要涨了…

21.jpg

评论(0) 引用(0) 浏览(6073)

520,火车采集带你探秘偶像胡歌的秘密世界

作者:dong 发布于:2018-5-17 17:22 Thursday

又到了一年一度的表白日

周末就是520了

害羞的我

把自己的心声

藏在文章中

如果恰好你也看见

如果你也恰好喜欢我

那么......

你还是没对象

不过没对象也没关系,毕竟小采是有偶像的人。

520别人都在谈对象,那小采就献丑一番

让小采带领大家探秘一下偶像胡歌的秘密世界

(是不是转折太快了?毕竟我也是一篇教程文案啊~)

首先我们一定要在脚本中添加微博的用户名密码这样脚本才能正常运行,可以直接文本输入也可添加变量,如下图:

然后打开新浪搜索胡歌的微博主界面

注意如遇到浏览器内下拉瀑布流无反应的情况,建议多刷新一下页面或者重新打开页面

用元素写值加悬浮框进行账号登录,否则采集的时候会弹框

然后进行循环操作,这里以循环20次为例,循环提取胡歌发布的文字内容信息

因为有瀑布流格式,这里用滚动条设置,最好选择滚动行数,这样下面的东西才有可能加载完全

接下来提取内容保存到list变量,然后点击下一页,我们就得到了想要的内容

小采这么辛苦的爬取老大的微博,拿到胡歌所有微博的数据,当然不是这么简单就完事了哦!

现在我们就抓取到的数据来做一个简单的分析:

首先我们看看,胡歌最喜欢@哪些人(这里去掉了@胡歌)

除了@他自己,他最喜欢@的人就是:唐嫣、刘诗诗、古月哥欠、胡佳、蒋劲夫、林更新。这些都是圈内的好朋友,唐嫣、刘诗诗可都是名花有主了,胡歌、蒋劲夫还都是单身汉,至于林更新,和素颜女神王丽坤的恋情也一直很引人瞩目。

继续说胡歌,下图是胡歌最喜欢转发的人:

除了胡歌自己,有蔡艺侬(上海唐人电影制作有限公司总裁)、莎朗ss、扎西顿珠、藤井树小姐(资深影评人)、袁弘,其他比较熟悉面孔还有唐嫣、侯洪亮、刘诗诗。

其中有一个人“莎朗ss”,6万多粉丝,但是同时有唐嫣、胡歌、刘诗诗都在关注。这个人又是谁呢?

胡歌注册微博的时间是:2009-08-28,在接下来的一年中,胡歌发了916条微博,平局每天发2.5条微博,而在2016年,3天才发一条,有数据表示,胡歌2016年代言30个广告,有小红书、sony、光明畅优、猎聘网、美孚英语等,名副其实的广告胡。

而到去年9月19日,胡歌也才发了44条,越来越少了。

  • 胡歌代言过的广告

在2017中国名人收入排行榜上,胡歌排在第10位,比杨幂还高。

  • 2016年胡歌一部戏也没拍,光靠广告就挣了1.3亿吗?

然后我们来对提取到的内容做个分词,看一下胡歌的微博中出现最密集的十大关键词是什么:

由于这次使用的插件是使用文本型变量,需要变量转换一下

这里我们调用外部插件选择中文分词,只找前十个高频词,每个词之间用逗号隔开。

接下来就是保存该文本变量看下效果了

可以很清楚看到伪装者,猎场,等电视剧,视频相关的名词出现较多,上海是胡歌的家乡,那么阿拉是什么呢?

如果你也有在追的爱豆,有兴趣的朋友可以自己试着操作一下,脚本我就放在下方阅读原文里了,大家可以自行下载。

 

评论(0) 引用(0) 浏览(4170)

BOSS直聘招聘信息采集规则分享

作者:dong 发布于:2018-5-4 17:38 Friday


把工资定在1500,随便找份工作就能搞定;

把工资定在2000,端正下态度也能得到;

把工资定在3000—5000,就必须努力去获取。

如果你把它定在6000以上、1万、5万、20万甚至于更高。

那么就请不要带着情绪去工作,

而是全力以赴,不惜代价去努力、竭尽全力去实现自己的价值!

不要抱怨不公平,天上不会掉馅饼,越努力越幸运!

But有时候,天上其实真的可能会掉馅饼!

Everybody  Come on, 注意了!!!

火车采集器教您快速采集boss直聘网招聘信息

让您高效找到适合您的工作

轻松进入职场

不让低效面试浪费您的宝贵时间。

1

采集第一步:打开boss直聘网站,选择地点,输入行业关键词。

这里我们以爬虫为例,搜索跟爬虫技术有关的工作。

https://www.zhipin.com/c101010100/h_101010100/?query=%E7%88%AC%E8%99%AB&page=1&ka=page-1

2

第二步:分析网址的分页规律

3

第三步:编辑采集器规则

1.编辑网址采集规则

注意:由于采集的内容在列表页,需要把起始网址当做内容页采集

2.编辑内容采集规则

注意:根据源代码的差异,使用前后截取,获得需要的内容,勾选循环匹配

3.运行采集规则

如上图所示。


大家可以分析一下采集下来的数据,按照公司规模/薪资/地点等进行排序,轻松找到适合自己的工作招聘信息,快人一步抢到就业良机!

还不会操作的朋友们,可以点击下方阅读原文,拿到规则,自己去试练一下吧!毕竟你未来的工作你去选,你的人生你决定!

PS:(玩转火车采集,找工作不必愁,如果您熟练操作火车采集器,懂Python编程语言,小采告诉您一个小秘密,去各大职业招聘网上搜索、采集一下关键词“火车采集器”或“locoy”~,有神秘惊喜等着你。)

评论(0) 引用(0) 浏览(14240)

春季放“价”日,火车5折优惠券等你来抢

作者:dong 发布于:2018-4-10 16:54 Tuesday 分类:官方公告

             

一年之计在于春

春天是工作的好时节

春来花开工作忙,火车放“价”来帮忙

这个春天搭上这一班“火车“,效率满点一整年

玩转数据采集,解放你的大脑和双手

海量采集,悦享极速

为回馈广大火车用户,就这样毫无预兆的

我们紧抓住春天的脚步,为大家送上一波春日暖心福利

活动共分三大模块

 

1

活动一:新用户购买更省钱,每天最低只需1.3元

限时秒杀,最高抢5折神券

针对用户我们一共推出4场抢券活动

 

4月12日10点起至4月13日凌晨,5折神券疯抢专区(每日仅限5张)

4月16日10点起至4月18日凌晨,6折优惠券火热抢购

4月19日10点起至4月23日凌晨,7折优惠券发放专场

 

4月24日10点起至4月27日凌晨,8折优惠券疯狂赠送中

 

注意事项

使用规则:

1.折扣优惠码限时限名额领取,名额抢完则停止发放优惠码。

2.领取的优惠码只能在对应活动时间内使用,过期则无效。

3.同一面额的折扣券,仅限领取一次。

4.使用优惠码购买的软件,均不赠送采集规则和发布模块等服务。

5.以上优惠券仅限于购买火车采集器或火车浏览器使用

 

所有想要购买火车采集软件的广大采友们千万不能错过

你还在等什么?

赶快来加入火车的大家庭吧。

2

活动二:用户续费升级,每天最低只需0.63元

限额续费,抢6.8折优惠券

十二年风雨同舟

广大用户朋友们一直对我们的厚爱支持当然也不能忘记

火车能发展到如今,全赖用户们的信任支持

4月14日10点至4月27日凌晨止

6.8折续费升级优惠券等您来抢

3

活动三:新人注册,立享新人优惠大礼包

如果您没抢到打折优惠券又想购买火车采集软件

这种情况下该怎么办?

对于火车采集器的新用户(之前使用免费版的也包括在内)

我们推出新用户注册优惠活动

新用户注册免费领取最高388元抵用券套餐

让您以最优惠的价格享受最贴心的服务


注意事项:

1.抵用券仅限免费版用户购买软件使用。
2.抵用券领取时间为4月10日—4月27日,有效期为领取之日15天内有效。
3.使用抵用券购买的软件,均不赠送采集规则和发布模块等服务。

 

优惠券使用方法:
注册账号并绑定微信(用户中心—个人资料)—参与抢购微信扫码领取—用户中心查看优惠码—选择对应产品—使用优惠码—确认订单付款

(ps:特别注意,所有活动优惠券仅限PC端抢购)

点击下方阅读原文,进入活动页面

赶紧领取属于您的那份春日惊喜吧

 

标签: 火车采集器;优惠活动;春季促销

评论(0) 引用(0) 浏览(13687)

清明旅行攻略,用火车浏览器采集携程旅游大数据

作者:dong 发布于:2018-4-3 9:42 Tuesday

 

1

春路雨添花,花动一山春色

东城渐觉风光好,淡荡春光寒食天。

输他郊郭外,多少踏青人。

清明小长假即将来临,你是否有打算趁着春光正好,沿袭古人的传统,去外面走一走?

但是这样盲目出行显然是不明智地,今天小采就教大家如何快速做好一份清明出行攻略,是所谓:

波光潋滟三千顷,莽莽群山抱古城。 四季看花花不老,一江春月是昆明。

因为小采很喜欢昆明这个地方,一直很想去昆明一次,这次就以昆明为例,算是满足一下小采个人的私心吧。

2

暮春三月别昆明,大好山河记忆新

这次我们使用火车浏览器来采集携程网昆明站前十名的数据,具体步骤如下:

1. 浏览器是可以做可视化处理的工具,首先可以打开要采集的网址,比如:http://dst.ctrip.com/it/kunming110.html

2. 目前的需求是获取线路前10的网址

火车浏览器可以使用xpath直接获取数据,比如:

3. 已经将10条数据网址获取到相关变量中了,再次需要打开具体的网址后获取具体的网页数据,比如:

将获取的10条网址,循环依次打开。

4. 使用批量提取的步骤,批量提取多个数据的值,比如:

5. 可以使用点击的操作,直接打开一个特定的网址,比如:

整体运行图如下:

3

南园春半踏青时,风和闻马嘶

春天不是读书天,但却是一个适宜解放自然天性的季节,趁着春光正好,我们还年轻,来一场说走就走的旅行吧。 当然喽,出发前记得用火车浏览器查查当地的情况哦,试想当别人还一头茫然地听着导游规划路线的时候,你早已胸有成竹,那该是多么惬意啊。 今天的教程就到这里了,如果您还有什么不清楚的问题,可以在后台咨询小采,也可以在火车采集器的官网上咨询在线客服,或者加入粉丝群与群里的大神们来一场思维火花的碰撞。

 

评论(0) 引用(0) 浏览(13085)

Powered by emlog