火车采集器官方博客

1

春路雨添花，花动一山春色

东城渐觉风光好，淡荡春光寒食天。
输他郊郭外，多少踏青人。
清明小长假即将来临，你是否有打算趁着春光正好，沿袭古人的传统，去外面走一走？
但是这样盲目出行显然是不明智地，今天小采就教大家如何快速做好一份清明出行攻略，是所谓：
波光潋滟三千顷，莽莽群山抱古城。 四季看花花不老，一江春月是昆明。
因为小采很喜欢昆明这个地方，一直很想去昆明一次，这次就以昆明为例，算是满足一下小采个人的私心吧。
2


暮春三月别昆明，大好山河记忆新




这次我们使用火车浏览器来采集携程网昆明站前十名的数据，具体步骤如下：


1. 浏览器是可以做可视化处理的工具，首先可以打开要采集的网址，比如：http://dst.ctrip.com/it/kunming110.html



2. 目前的需求是获取线路前10的网址
火车浏览器可以使用xpath直接获取数据，比如：


3. 已经将10条数据网址获取到相关变量中了，再次需要打开具体的网址后获取具体的网页数据，比如：


将获取的10条网址，循环依次打开。 
4. 使用批量提取的步骤，批量提取多个数据的值，比如：


5. 可以使用点击的操作，直接打开一个特定的网址，比如：



整体运行图如下：
 
3


南园春半踏青时，风和闻马嘶


 春天不是读书天，但却是一个适宜解放自然天性的季节，趁着春光正好，我们还年轻，来一场说走就走的旅行吧。 当然喽，出发前记得用火车浏览器查查当地的情况哦，试想当别人还一头茫然地听着导游规划路线的时候，你早已胸有成竹，那该是多么惬意啊。
今天的教程就到这里了，如果您还有什么不清楚的问题，可以在后台咨询小采，也可以在火车采集器的官网上咨询在线客服，或者加入粉丝群与群里的大神们来一场思维火花的碰撞。

、

如何采集B站的弹幕，看下面这个链接：

https://www.bilibili.com/video/av21038666/?spm_id_from=333.334.chief_recommend.20

以这一个视频地址作为例子，下面介绍下编写的思路以及方法。

编写重点以及难点：

(1) http请求用法，教程参考：

http://bbs.locoyposter.com/forum.php?mod=viewthread&tid=231&highlight=http

(2)Js转换时间戳用法,教程参考：http://help.locoyposter.com/index.html#javascript

编写过程，这里介绍下编写过程中的重点步骤，一些基本步骤的使用就请参考视频学习

（1）打开需要采集的页面，然后使用fiddler抓包分析需要采集的评论在哪个请求中，找到对应请求之后将网址以及请求头信息复制放在火车浏览器步骤中：

设置好后，观察提取到的源码，分析需要采集数据的前后分割字符，使用循环提取步骤将发布时间以及发布内容同时提取到list变量中，以特殊间隔符分割开来，以便后续对两个字段分别进行处理：

提取好后，观察提取到的数据，我们提取的时间其实一串时间戳，因此需要使用对应的代码来将时间戳转换为时间，具体代码如图，插一句，如果有一些功能我们火车浏览器无法实现，可以通过js，C#，python等插件来实现一些扩展功能。

然后按照自己需要的模板，将采集的数据保存即可，示例中提供的是将数据保存在txt,火车浏览器还支持保存在execl以及数据库中。

示例提供的仅仅是一个B站视频弹幕的采集，如果要实现更多视频弹幕的采集，修改下脚本的逻辑规则即可手到擒来。

好了，今天的教程就到这了，有什么问题还没弄清楚的同学可在后台询问客服，或通过阅读原文进入我们火车采集器的官方网站，向在线客服即时咨询。