火车采集器官方博客

上文刚介绍了朋友少杰被老板吩咐了一个任务，采集58同城房产信息，但其实除了传统的复制粘贴之外，其实还有一种很简单好用的妙招，那就是用火车采集器采集58租房信息，今天小采就把这个方法分享给大家。

每到节假日，小采的朋友圈里总是会看到这样的照片，并且还配上一段“麻烦帮我点一下，，，之类语法可能会变语意永远相同的类似语句。”

每当这个时候我就知道陶子又要抢回家的火车票了。

不知何时，每年都有那么几天，小采的朋友陶子总会心情焦虑，坐立不安，按他的话来说：“去火车站抢票是永远不可能去的，也就只能靠着抢票软件维持生活了。”这两年他换了不止数款抢票软件，可以说是抢票行家了。

作为家中独子，我很能理解他的感受。

但作为一个有梦想的运营喵，我不禁对这种抢票软件产生了浓浓的兴趣。

这分明代表着——“话题！！！”

今天我们就从抢票软件开聊，谈谈爬虫技术带给我们生活中哪些改变！

众所周知，抢票软件的背后，藏着无数个叫做“爬虫”的小东西

喏，它们长这样:

等等，好像有点不对劲，应该是这样的爬虫：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

爬虫就像是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在互联网这栋四通八达的大楼里不知疲倦地爬来爬去。

现在我们的身边的网络处处都可见这些小可爱的影子，它们善恶不同，各怀心思，越是利益相关的地方，就越是布满了爬虫。

图片来源：云鼎实验室

在出行方面出行行业中爬虫的占比最高（20.87%）。在出行的爬虫中，有89.02%的流量都是冲着 12306 去的。这不意外，全中国卖火车票的独此一家别无分号。

你还记得被这样的人脸验证码支配的恐惧吗？

像这种“神坑”的验证码并不是为了为难我们这些老实本分买票的人的，正相反，它研发的目的就是为了阻止爬虫（也就是抢票软件）的点击。上面说过，爬虫是一个死板的东西，它只会简单的机械点击，它不认识白百何，所以很大一部分爬虫就被挡在了门外。

但是“道高一尺魔高一丈”，光凭这样显然是无法阻挡爬虫的脚步的，现在市面上盛行的各类抢票软件就是明证！

有一种东西叫做“打码平台”，你可以了解一下。

打码平台雇佣了很多叔叔阿姨，他们在电脑屏幕前不做别的事情，专门帮人识别验证码。那边抢票软件遇到了验证码，系统就会自动把这些验证码传到叔叔阿姨面前，他们手工选好哪个是白百何哪个是王珞丹，然后再把结果传回去。总共的过程用不了几秒时间。

当然，这样的打码平台还有记忆功能。如果叔叔阿姨已经标记了这张图是“锅铲”，那么下次这张图片再出现的时候，系统就直接判断它是“锅铲”。时间一长，12306 系统里的图片就被标记完了，机器自己都能认识，叔叔阿姨都可以坐在一边斗地主了。

“12306”为什么不做措施防止采集呢？你可能会问。

你知道每年过年之前，12306 被点成什么样了吗？

公开数据是这么说的：“最高峰时1天内页面浏览量达813.4亿次，1小时最高点击量59.3亿次，平均每秒164.8万次。”这还是加上验证码防护之后的数据。可想而知被拦截在外面的爬虫还有多少。

总结：所以不是不想防，而是防不胜防啊！，真是个悲伤的故事！

说完出行难，我们再来谈谈社交吧。

上图是爬虫经常光顾的微博地址。

这里的代码其实指向了微博的一个接口。它可以用来获取某个人的微博列表、微博的状态、索引等等等等。

获得这些，能搞出什么骚操作呢？

“僵尸粉”的上班流程了解一下——你想想看，如果我能随心所欲地指挥一帮机器人，打开某人的微博，然后刷到某一条，然后疯狂关注、点赞或者留言，这不就是标准的僵尸粉上班儿的流程么。。。

更甚者，还可以利用这套流程发家致富：

再者，你平时点开的大众点评和美团等美食软件上的点评信息是真的吗？

答曰：部分是真，部分是假，真真假假谁又说得清呢？

造成这种情况的还是爬虫：

很多刚上点评的商户，信誉值不高，就会用爬虫来模拟留言、点赞，刷高自己的信誉值。

同理，淘宝、京东等电商用户也是如此。

所以，这些平台都对这种刷单行为深恶痛绝，因为一旦松懈平台的信誉值就完蛋了。

很多人做过网站，应该知道“权重值”的意思，那么怎么提升权重呢？

你可能了解，搜索引擎决定哪个网页排名靠前，（除了广告以外）主要一个指标就是看哪个搜索结果被人点击的次数更多。

既然这样，那么我就派出爬虫，搜索某个特定的“关键词”，然后在结果里拼命地点击某个链接，那么这个网站在搜索引擎的权重里自然就会上升。这个过程就叫做 SEO（搜索引擎优化）。

我就举个例子，随意搜索一个关键词，它排在前面的网址，有可能就是经过 SEO 的。作为任何一个搜索引擎，都肯定不允许外人对于自己的搜索结果动手动脚，否则就会丧失公立性。它们会通过不定期调整算法来对抗 SEO。

所以才会有那么多的悲剧，百度医疗竞价排名害死人事件不知道的同学可以去了解一下。

SEO是一把双刃剑，它可以救人也可以害人，技术不分好坏，善恶只在掌握它们的人手上。

说了这么多，我猜你会有几个疑问

这个问题还真的不简单。

我打开中国网安第一大法《网络安全法》仔细看了半小时，在里面没有发现“爬取网络公开信息被认定为违法”的条款。

于是我又继续搜索，发现了几条司法解释：

• 未经授权爬取用户手机通讯录超过50条记录；

• 未经授权抓取用户淘宝交易记录超过500条；

• 未经授权读取用户运营商网站通话记录超过500条；

• 未经授权读取用户公积金社保记录的超过50000条的。以上这些情况可以入刑。

但是仔细看看，如果我只是用机器代替了人的手点击鼠标敲击键盘，接触的都是公开信息，并不触犯这些司法解释。（这只是我简单查询后的结果，不代表任何官方意见）

因此得出结论，只要不触碰禁区，爬虫并不违法。

举个例子：在排名第五的行政领域：

在中国，我们的信用体系还很不完善的情况下，骗子和老赖在犯罪后还可以继续蒙骗新人。所以才催生了爬虫收集法院公告，形成民间信用记录的服务。这项服务大大减少了网络犯罪的犯罪率。

所以，最后，我想说技术无罪，我认为善的定义就是有利于人类。刘震云说的一段话很好：在生活中，有的是吃人的人，有的是被吃的人，但是这两种人可以转化，羊渐渐可以转成狼；狼呢，渐渐地到一定阶段也可以转变成羊。

就好像是善恶一样，没有绝对的善恶，你这人特别的善良，那也有特别不善良的地方。最可笑的还有许多人，在羊向狼转化的时候，转化成一半，停在那儿了，半羊半狼，自己也闹不太清楚，到底是羊还是狼。

爬虫并没有思想，你想生活在一个怎样的世界，就要用自己的理念去实现！

嗨，大家好，我是你们的小采君

记得月初的时候小采写了关于火车采集器和火车浏览器的区别，可后台还是有人弄不清楚火车浏览器的区别？所以今天我就再给大家介绍一遍关于火车浏览器。

火车浏览器：一款可视化的自动脚本工具，可以通过设置脚本的点击、判定、循环、跳转等流程，实现自动登录，识别验证码，抓取和发送数据等一系列操作。每一步流程都可以自由组合，完全自定义操作，功能无限级扩展。

不止是这样，火车浏览器还能做到更好！

七月末，小采告诉你一个好消息，火车浏览器7.0版本全新突破，更加优良的操作体验，更简单方便的快捷操作，更加具有创新意识的插件DIY设置狂热来袭！

让你自觉更新，学习使用起来也毫不费力！

旧版本：火车浏览器旧版界面将脚本编辑器和项目管理器分为两个文件，运行时需要先打开脚本编辑器编辑脚本，在编辑好脚本后，再打开项目管理器来运行脚本。这样就需要同时打开两个软件，繁琐且更占内存。

新版本优势：将脚本编辑器以及项目管理器合并为一个软件界面，避免软件多开，方便操作。入眼更清爽，颜值也更高！

旧版本：无分组功能，脚本数量过多时，管理混乱，导致后期查找时极为麻烦。

新版本优势：新增分组功能，归类脚本更轻松，再也不怕脚本过多查找麻烦了。

旧版本：脚本列表及编辑页面同框，当脚本数量过多时，编辑脚本的页面相应地就变窄了。

新版本优势：清爽的页面区分设计，将列表页及编辑页面分离。脚本列表显示脚本的分组信息以及脚本名称信息，编辑脚本的时候，双击脚本名称即可自动跳转到脚本编辑区，更加符合人体视觉感官享受。

旧版本：在旧版本中插件是一个步骤”外部插件”，需要在外部插件中选择插件列表然后保存才能使用

新版本优势：每个插件都作为一个单独的步骤显示，并且插件的配置直接就显示在步骤中，重点是火车浏览器还自带了很多实用性的插件，比如滑动验证码插件，飞蚁代理，中文分词，以及一些示例插件。调用更加方便，默认开发示例代码，开发更灵活。

PS:火车浏览器7.0版本帮助文档可以直接在界面中显示，查询帮助更便捷了！

附：火车浏览器7.0版本下载链接

怎么样，是不是很心动呢？

众所周知更新软件版本通常会遇到两大阻力

1、学习成本
2、时间成本

常年使用某一版本形成习惯可能是真的不愿意再花时间去尝试别的版本的，万一真的得用的时候找不到那个曾经很常用功能的位置那多尴尬，所以很多人就不愿意去尝试使用新的版本……

好嘛，突然有一天发现新版本有一个很好用的功能或者旧版本在有些方面不能满足要求，那么……安装新版本需不需要安装包？……由此一连串的问题都得自己去解决。

可在这里学习成本与时间成本都不再是困扰!火车浏览器致力于让用户用的更省心，用的更流畅!

首先：学习成本上讲，火车浏览器7.0版本与历史版本一脉相承，不存在太大差异性问题。

其次：时间成本来说，本次优化，简化了用户操作流程，更为用户的工作生活增添不少便利。

最后爱心小贴士敬上（新版本升级续费方式）：

点击火车采集器官网进入我们官方主页

在主站登录后，鼠标点击个人产品中心

找到续费/升级按钮，一键点击即可完成续费升级操作

另：活动日期仅剩两天，手快有手慢无！

活动时间截止七月底，速来抢购

合肥乐维信息技术有限公司十周年庆典

活动正在进行中，更有豪礼相送

点击合肥乐维信息技术有限公司十周年庆典活动，即刻到达活动页面，领取老用户专享续费升级优惠券，立享最低5.8折起超额钜惠！

心动更要行动，采友们赶快点击阅读原文，下载火车浏览器7.0版本先睹为快吧！