4年一次的世界杯终于要进入倒计时了,从来不爱看球只爱看网友吐槽世界杯段子的我也终于要将罪恶之手伸向世界杯这只纯洁的“赤裸小羔羊了”。今天我们来采集一些有关于世界杯的有趣数据。
但在下手之前我们先看一下本届世界杯场外场内那些令我们瞠目结舌的”骚操作“。
小组赛首轮战罢,谁能想到,
现在最有冠军相的不是梅西的阿根廷,
不是J罗的哥伦比亚,也不是内马尔的巴西,
而是普京的俄罗斯

在一众传统豪强遭遇冷门之后,仅仅只有德国是输掉比赛的那一支豪强。并且是所有欧洲球队中唯一没有进球的球队。
毕竟,卫冕冠军小组赛被淘汰可是专业的。

比女人更善变的是一个沉迷于世界杯赌球的“甲方爸爸”,偷师习得卖土耳其冰淇淋球小哥的独门手艺,没人比他更秀啦!

C罗身上最性感的东西是什么我不知道,但看这老兄的手,心里突然慌得一批,怎莫办!我也好想摸,是C罗啊!(此处省略万千渴望表情)

咳咳咳,话题有点歪,我们是一款正经的大数据采集器,上面的心声绝对不是我内心真正的想法(见仁见智)。
今天我们要做的是采集新浪微博超话“#世界杯吐槽大会#”的网友评论数据,分析网友们最感兴趣的世界杯吐槽点在哪里。
1、先打开我们要采集的新浪微博的界面,搜索#世界杯吐槽大会#超级话题,点击登入输入用户名和密码

接着打开网页,点击登入加元素写值步骤来完成操作

2、用循环加条件判断来判断页面是否加载完成

3、做浏览器设置允许弹出新的标签页,来实现后面都评论页面的采集

4、用滚动条加单次取值来取出所有的发文内容

5、通过对网站的分析,评论有三种情况:
(1)无评论
(2)评论少,无需点入详情页去采集评论
(3)评论多,需要点入详情页采集评论
所以要写多个判断来,应对不同的情况
若评论多则判断是否有
若有则点击查看更多,然后进去内容详情,用滚动条操作加单次取值,取出评论
之后用标签页操作回到列表页
若评论少则直接单次取值所有评论

采集之后点击下一页然后清空计数器,采集下一页评论
6、用变量处理加变量转换 得到我们要处理的文本变量

7、之后用中文分词功能来获取世界杯期间微博的高频词,看网友们对世界杯感兴趣的关键词

得到结果

处理一下上表中数据我们就可以看到这样一张图

从图中我们可以看到,日本队的胜出在中国网民心中影响颇大,毕竟,国足是中国球迷心中永远的痛,网上甚至有这种言论;

与日本一起被人提起的还有强队哥伦比亚,人们都很叹息,哥伦比亚竟然惜败日本,这只能说的确是时运不济了。
最令人意外的是本届世界杯“普京表情包”在中国网络上的病毒式走红,事情的起因是这样的。
本届世界杯的第一场比赛:
沙特阿拉伯 vs 俄罗斯。
赛前,众多球迷参与预测本场比赛的比分,
预测结果以2:0、2:1或3:1居多,
可谁也没想到,
沙特竟然被俄罗斯踢了个5:0…

先不说沙特球员心理是如何崩溃的,来说说两国领导。坐在看台上的两位大人物的戏,
绝对比赛场上的比赛还要精彩!
在图片左边的,就是沙特的王储,
坐在中间位置的,是国际足联主席因凡蒂诺,
在图片最右边的,是大名鼎鼎的俄罗斯总统普京。
你以为这三个人会老老实实看球吗?!
最终,
这场会面变成了普京摊手表演集锦…
准备好了吗?3,2,1,Action。
在俄罗斯1:0领先沙特时,
普京总统双手一摊,
随后和沙特王储握手。

这时他会说什么呢?
不要意思,我们先进一个热热场…
夹在中间的因凡蒂诺也跟着普京一起摊了摊手,
气氛略显尴尬…
而坐在一旁的沙特王储则表现的还算淡定,
毕竟才进一个球,还有翻盘的机会。
不久之后,俄罗斯就3:0领先沙特了,
这次因凡蒂诺反而先摊手表示,
不关我的事啊…

有网友表示,足联主席内心戏应该是这样的:
等到了5:0的时候,沙特王储脸上笑容逐渐消失…
普京再度摊开大手,
因凡蒂诺夹在中间根本不知道说什么好…

比赛结束后,
沙特王储和普京总统紧紧地拥抱了一下,
友谊第一,比赛第二,
有这样的风度也不愧为一国之首。
就是不知道明年俄罗斯油价是不是又要涨了…

又到了一年一度的表白日
周末就是520了
害羞的我
把自己的心声
藏在文章中
如果恰好你也看见
如果你也恰好喜欢我
那么......
你还是没对象
不过没对象也没关系,毕竟小采是有偶像的人。
520别人都在谈对象,那小采就献丑一番
让小采带领大家探秘一下偶像胡歌的秘密世界
(是不是转折太快了?毕竟我也是一篇教程文案啊~)

首先我们一定要在脚本中添加微博的用户名密码这样脚本才能正常运行,可以直接文本输入也可添加变量,如下图:

然后打开新浪搜索胡歌的微博主界面

注意如遇到浏览器内下拉瀑布流无反应的情况,建议多刷新一下页面或者重新打开页面

用元素写值加悬浮框进行账号登录,否则采集的时候会弹框


然后进行循环操作,这里以循环20次为例,循环提取胡歌发布的文字内容信息

因为有瀑布流格式,这里用滚动条设置,最好选择滚动行数,这样下面的东西才有可能加载完全

接下来提取内容保存到list变量,然后点击下一页,我们就得到了想要的内容

小采这么辛苦的爬取老大的微博,拿到胡歌所有微博的数据,当然不是这么简单就完事了哦!
现在我们就抓取到的数据来做一个简单的分析:
首先我们看看,胡歌最喜欢@哪些人(这里去掉了@胡歌)

除了@他自己,他最喜欢@的人就是:唐嫣、刘诗诗、古月哥欠、胡佳、蒋劲夫、林更新。这些都是圈内的好朋友,唐嫣、刘诗诗可都是名花有主了,胡歌、蒋劲夫还都是单身汉,至于林更新,和素颜女神王丽坤的恋情也一直很引人瞩目。
继续说胡歌,下图是胡歌最喜欢转发的人:

除了胡歌自己,有蔡艺侬(上海唐人电影制作有限公司总裁)、莎朗ss、扎西顿珠、藤井树小姐(资深影评人)、袁弘,其他比较熟悉面孔还有唐嫣、侯洪亮、刘诗诗。
其中有一个人“莎朗ss”,6万多粉丝,但是同时有唐嫣、胡歌、刘诗诗都在关注。这个人又是谁呢?


胡歌注册微博的时间是:2009-08-28,在接下来的一年中,胡歌发了916条微博,平局每天发2.5条微博,而在2016年,3天才发一条,有数据表示,胡歌2016年代言30个广告,有小红书、sony、光明畅优、猎聘网、美孚英语等,名副其实的广告胡。
而到去年9月19日,胡歌也才发了44条,越来越少了。


在2017中国名人收入排行榜上,胡歌排在第10位,比杨幂还高。
然后我们来对提取到的内容做个分词,看一下胡歌的微博中出现最密集的十大关键词是什么:
由于这次使用的插件是使用文本型变量,需要变量转换一下

这里我们调用外部插件选择中文分词,只找前十个高频词,每个词之间用逗号隔开。

接下来就是保存该文本变量看下效果了

可以很清楚看到伪装者,猎场,等电视剧,视频相关的名词出现较多,上海是胡歌的家乡,那么阿拉是什么呢?
如果你也有在追的爱豆,有兴趣的朋友可以自己试着操作一下,脚本我就放在下方阅读原文里了,大家可以自行下载。

把工资定在1500,随便找份工作就能搞定;
把工资定在2000,端正下态度也能得到;
把工资定在3000—5000,就必须努力去获取。
如果你把它定在6000以上、1万、5万、20万甚至于更高。
那么就请不要带着情绪去工作,
而是全力以赴,不惜代价去努力、竭尽全力去实现自己的价值!
不要抱怨不公平,天上不会掉馅饼,越努力越幸运!
But有时候,天上其实真的可能会掉馅饼!
Everybody Come on, 注意了!!!
火车采集器教您快速采集boss直聘网招聘信息
让您高效找到适合您的工作
轻松进入职场
不让低效面试浪费您的宝贵时间。
采集第一步:打开boss直聘网站,选择地点,输入行业关键词。
这里我们以爬虫为例,搜索跟爬虫技术有关的工作。
https://www.zhipin.com/c101010100/h_101010100/?query=%E7%88%AC%E8%99%AB&page=1&ka=page-1

第二步:分析网址的分页规律

第三步:编辑采集器规则
1.编辑网址采集规则

注意:由于采集的内容在列表页,需要把起始网址当做内容页采集
2.编辑内容采集规则

注意:根据源代码的差异,使用前后截取,获得需要的内容,勾选循环匹配
3.运行采集规则

如上图所示。
大家可以分析一下采集下来的数据,按照公司规模/薪资/地点等进行排序,轻松找到适合自己的工作招聘信息,快人一步抢到就业良机!
还不会操作的朋友们,可以点击下方阅读原文,拿到规则,自己去试练一下吧!毕竟你未来的工作你去选,你的人生你决定!
PS:(玩转火车采集,找工作不必愁,如果您熟练操作火车采集器,懂Python编程语言,小采告诉您一个小秘密,去各大职业招聘网上搜索、采集一下关键词“火车采集器”或“locoy”~,有神秘惊喜等着你。)
东城渐觉风光好,淡荡春光寒食天。
输他郊郭外,多少踏青人。
清明小长假即将来临,你是否有打算趁着春光正好,沿袭古人的传统,去外面走一走?
但是这样盲目出行显然是不明智地,今天小采就教大家如何快速做好一份清明出行攻略,是所谓:
波光潋滟三千顷,莽莽群山抱古城。 四季看花花不老,一江春月是昆明。
因为小采很喜欢昆明这个地方,一直很想去昆明一次,这次就以昆明为例,算是满足一下小采个人的私心吧。
这次我们使用火车浏览器来采集携程网昆明站前十名的数据,具体步骤如下:
1. 浏览器是可以做可视化处理的工具,首先可以打开要采集的网址,比如:http://dst.ctrip.com/it/kunming110.html

2. 目前的需求是获取线路前10的网址
火车浏览器可以使用xpath直接获取数据,比如:
3. 已经将10条数据网址获取到相关变量中了,再次需要打开具体的网址后获取具体的网页数据,比如:
将获取的10条网址,循环依次打开。
4. 使用批量提取的步骤,批量提取多个数据的值,比如:
5. 可以使用点击的操作,直接打开一个特定的网址,比如:

整体运行图如下:
春天不是读书天,但却是一个适宜解放自然天性的季节,趁着春光正好,我们还年轻,来一场说走就走的旅行吧。 当然喽,出发前记得用火车浏览器查查当地的情况哦,试想当别人还一头茫然地听着导游规划路线的时候,你早已胸有成竹,那该是多么惬意啊。
今天的教程就到这里了,如果您还有什么不清楚的问题,可以在后台咨询小采,也可以在火车采集器的官网上咨询在线客服,或者加入粉丝群与群里的大神们来一场思维火花的碰撞。