火车采集器官方博客

文章采集器——火车采集器V9数据处理功能详解

作者：dong 发布于：2016-4-6 11:51 Wednesday 分类：官方公告

用过火车采集器的朋友都知道，火车采集器是所有文章采集器里数据处理功能最为全面的，也因此被用户誉为最经典的采集软件，这里为大家详细的介绍一下文章采集器——火车采集器V9十一项强大的数据处理功能。

什么是数据处理？在火车采集器中，数据处理是对从内容页面提取到的信息数据进行进一步的加工处理，譬如替换、过滤等，火车采集器中可以同时添加多个操作，多个操作是按照从上到下的顺序来执行。也就是说，上个步骤的结果会作为下个步骤的参数。下面依次说明：

1、提取内容为空：即如果提取内容为空，则使用正则匹配内容从原始页面中再次提取。
2、内容替换/排除：顾名思义，表示对采集到的内容进行字符串替换，如需排除，则替换为空字符串即可。

3、html标签过滤：过滤指定html标签，比如<a ，<font 
4、字符截取：通过开始和结束字符串对内容进行截取
5、纯正则替换：通过强大的正则表达式进行复杂的内容替换。
6、数据转换：包括将结果简转繁、将结果繁转简、自动转化为拼音和时间修正转化

7、智能提取：包括提取第一张图片、智能提取时间、智能提取邮箱、智能提取手机号码、智能提取电话号码

8、高级功能：包括自动摘要、自动分词、Http请求、字符编码转换、同义词替换、空内容缺省值、内容加前后缀、随机插入、运行C#代码、批量内容替换，统计标签字符串长度等一系列功能。  

9、补全单网址：将当前内容作为一个网址进行补全。
10、文件下载：可以自动探测并下载文件，可设置下载路径和文件名样式。

11、内容过滤：对于一些不符合条件的记录，可以通过设置内容过滤来删除或标记为未采。

    我们采集文章时有了这十一项强大的数据处理功能，就能应对各类网站并将数据轻松处理成自己需要的形式，省时省力。火车采集器V9作为功能最全面的文章采集器，更够为我们的工作大幅提升效率，真正智能化的服务于用户。

标签: 火车采集器V9 文章采集器

评论(0) 引用(0) 浏览(3586)

抓取网页数据工具新增功能json提取示例

作者：dong 发布于：2016-3-31 15:24 Thursday 分类：官方公告

  使用过最新版火车采集器V9的朋友应该都发现V9新增了json提取的功能，但是许多使用抓取网页数据工具的朋友在操作此功能的时候都会觉得有点弄不明白，这里特意为大家整理了json提取的教程示例，感兴趣的朋友可以仔细研究一下。

  首先大家需要明白JSON 是有两种结构，简单的说json就是javascript中的对象和数组，所以这两种结构就是对象和数组两种，通过这两种结构可以表示各种复杂的结构。下面具体说明一下。

1、对象：对象在js中表示为“{}”括起来的内容，数据结构为 {key：value,key：value,...}的键值对的结构，在面向对象的语言中，key为对象的属性，value为属性值，所以很容易理解，取值方法为对象key 获取属性值value，这个属性值的类型可以是数字、字符串、数组、对象几种。

2、数组：数组在js中是中括号“[]”括起来的内容，数据结构为["java","javascript","vb",...]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

  经过对象、数组2种结构就可以组合成复杂的数据结构了。如下：

{ "name": "中国", "province": [{ "name": "黑龙江", "cities": { "city": ["哈尔滨", "大庆"] } }, { "name": "广东", "cities": { "city": ["广州", "深圳", "珠海"] } }, { "name": "台湾", "cities": { "city": ["台北", "高雄"] } }, { "name": "新疆", "cities": { "city": ["乌鲁木齐"] } }] }

    我们可以借助工具http://tool.oschina.net/codeformat/json 测试是否是JSON,格式化后如图：

  下面举例说明JSON提取的2种方式：

1、JSON数据源：URL网址

  如我们需要对JSON网址http://car.interface.autohome.com.cn/dealer/LoadDealerPrice.ashx?_callback=LoadDealerPrice&type=1&seriesid=3170&city=340100 做采集

  分析得出：此URL的整个源代码是个完整的JSON。 所以JSON数据源选择 URL网址然后勾选循环匹配，就可以采集到整个JSON里的数据。

如图：

2、JSON数据源：JSON文本： 另外一种情况，网址里的源码不全是JSON，而只是一部分代码是JSON形式，此时我们需要提取出这段JSON文本，然后再格式化。例如网址 http://car.autohome.com.cn/config/series/3170.html

  所以我们需要通过多页的形式，来获取本页地址里这部分JSON代码，然后再设置JSON表达式。

如图：

  按照上面的步骤，两种JSON提取就完成了，广大用户朋友们是不是觉得简单又好用，所以抓取网页数据工具首选火车采集器V9，功能全面且易用，新手朋友们多多联系，一定能快速上手，如还有疑问或其他问题请随时联系官方客服为您解答哦！

标签: 火车采集器V9 抓取网页数据工具

评论(0) 引用(0) 浏览(14292)

网站抓取精灵火车采集器如何定时自动运行？

作者：dong 发布于：2016-3-30 11:12 Wednesday 分类：功能介绍

  许多朋友在抓取网站时应该都会有这种体验，就是感到有些网站更新得实在太快，而我们一直盯着电脑去更新又费时又费力。不过网站抓取精灵火车采集器V9的计划任务功能真可谓一解了我们的燃眉之急，可以轻松实现自动更新，再也不需要我们盯着电脑点击运行了。

  那什么是计划任务呢？计划任务是火车采集器V9为实现对已经设置好的采集发布任务进行计划定时运行而研发的功能，具体操作如下：

　 　

开始菜单－计划任务

1、点击“ ＋分组 ” ，添加计划分组

2、选择一个分组，点击“ ＋计划任务 ” ，添加计划任务到选择分组

3、勾选任务，设置定时方案（可选择每间隔，每天，每周，仅一次，或使用Cron表达式）

4、保存即可看到计划状态

下面为Cron表达式语法说明：

在表达式中可以填写数字常量，也可以使用一些特殊符号创建更为复杂的任务：

逗号 (',') 分开的值，例如：“1,3,4,7,8”

连词符 ('-') 制定值的范围，例如：“1-6”，意思等同于“1,2,3,4,5,6”

星号 ('*') 代表任何可能的值。例如，在“小时域” 里的星号等于是“每一个小时”，等等

斜线 ('/') 用于表示跳过某些给定的数。例如，“*/3”在小时域中等于“0,3,6,9,12,15,18,21”等被3整除的数

问号 ('?') 只能用在日和周域上，但是不能在这两个域上同时使用。

一些例子:

"0 0 12 * * ?" 每天12点触发

"0 5 10 * * ?" 每天10:05触发

"0 0 10,14,16 * * ?" 每天10点、14点、16点触发

"0 0/30 9-17 * * ?"   每天9-17点每间隔半小时触发

"0 0 12 ? * 3" 表示每个星期二12点触发

"0 * 14 * * ?" 在每天14点到14:59期间的每1分钟触发

"0 0/5 14 * * ?" 在每天14点到14:55期间的每5分钟触发

如下图，每天15点触发运行：

   按照这里的例子大家多练习练习，讲了上面的这些，不知道大家都会用了吗，掌握这个功能，就可以真正解放我们的双手啦，把定时自动更新的抓取任务都交给网站抓取精灵火车采集器V9吧！

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(18601)

网页抓取工具火车采集器V9灵活提速五大招

作者：dong 发布于：2016-3-25 10:58 Friday 分类：官方公告

网页抓取工具​在互联网领域的应用已经是非常普遍了，但是许多朋友在使用的过程中都觉得速度不够快，或者不知道怎么提速，那针对目前使用人数最多的网页抓取工具火车采集器V9为大家支几招，大家可根据自己的使用情况对采集方案略作调整，看看是否能得到很好的效果~

第一招：调整采集线程和间隔时间

在编辑规则的其他设置中进行调整，如下图：

这里是对采集内容和发布内容的设置，设置的时间单位是毫秒，1000毫秒为1秒，这个间隔时间大家根据需要来设置就可以了，线程数的设置也不是越多越好的，要多试几次找到采集量对应的最佳线程数。但是提醒大家，这里的设置对采集网址是不生效的。

第二招：换用高级数据库

    我们可以选择使用较高级的数据库，比如sqlite、mysql等，尽量避免使用access，这样会对我们的速度提升有所帮助。本地保存数据库修改的方法这里就不细说了，如果不懂的话自行搜索下教程进行学习。

第三招：提高你采集所用电脑的配置和带宽

机器的配置和带宽肯定是会影响到采集速度的，这个就不用多说了，火车采集器使用最低的配置要求是：4G以上内存，i3以上的CPU，带宽速度至少能正常访问网页，硬盘根据大家的采集数据量适当等配置即可。

第四招：多个采集器同时采集，提高采集效率

    如果采集量很大，对时间要求又高的情况下，使用多个采集器同时运行也是较好的解决办法，当然了，需要不同的账号，一个账号是不能在多个机器登录的。

第五招：采集规则尽量最精简化

简单的规则运行起来自然就快，如果给加了很多冗余的步骤，那就像开车绕路一样。建议大家还是多练习练习，很快就能灵活的找到最简化的规则，节省采集时间。

大家按照上面的几种方法进行适当调整，一定能够看到我们利用网页抓取工具火车采集器V9进行采集或发布时速度的明显提升，网页抓取工具作为我们的工作利器，有很多灵活之处需要我们去挖掘，熟练上手后一定能大幅提升我们的工作效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(4503)

网页抓取工具 火车采集器版本选择攻略

作者：dong 发布于：2016-3-21 14:01 Monday 分类：功能介绍

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了，不过对于刚刚接触这个领域的朋友尤其是技术小白们来说，确实很难快速上手，所以我们需要用到一个抓取内容的工具帮助我们便捷地实现需求，网页抓取工具火车采集器V9正是以稳定和快速的特性，吸引了许多技术小白的青睐。但是不少初次接触火车采集器的用户反馈说火车采集器V9有免费版、基础版、旗舰版机器码版、旗舰版自动授权版、企业版尊享版、企业版豪华版六大版本，该如何选择呢？因此我们为您准备了以下攻略，相信会对您选择版本有所帮助。

1、免费版

适用人群：适合数据的采集量小，需求也比较少的初级个人用户使用，或者是作为购买商业版之前用来测试功能的试用版本。

版本特点：目前免费版本已经覆盖基础的数据采集功能，可以保障用户最基本的使用需求。

2、基础版

适用人群：适合较为初级的个人用户使用，采集量不多，但对数据的获取和上传有一定的要求，比如文件下载不局限于图片和FLASH，需要定时采集等等。

版本特点：基础版需要绑定一台机器获得授权（可免费更换一次），从基础版开始可以享受售后服务：QQ群、E-mail、服务年限内免费更新，售后工单。相对免费版在功能上的增加包括任意格式文件下载、定时自动运行采集、无限级多页采集、使用ftp自动上传文件到网站、软件闪退后保存未完成的任务等。 

                     

3、旗舰版机器码版

适用人群：适合较为专业的个人用户，比如数据采集量相对较多，对数据处理和发布扩展有较高要求，则可以选择旗舰版机器码版。

版本特点：旗舰版机器码版包含基础版的全部功能和服务，并增加了文件自动上传、二级代理服务器、SSH上传、支持C#插件、图片加水印等功能。机器码版同样需要绑定一台机器（可免费更换一次），赠送一个采集规则和一个发布模块。

4、旗舰版自动授权版

适用人群：自动授权版的授权可以随时自动更换，适合需要进行大批量数据采集的用户，能够很好得解决因频繁访问所导致的封ip问题。

版本特点：需绑定一台机器，但可以不限次数的自动更换，除授权不同外，功能与旗舰版机器码版相同，服务方面可以享受官方附赠的两个采集规则和一个发布模块。

5、企业版尊享版

适用人群：涵盖火车采集器的全部使用功能，适合进行大规模数据采集，需要同时有多台机器运行软件的小型企业级或团队用户。

版本特点：企业版尊享版可绑定3台机器（可免费更换3次）并赠送2个加密狗（无需绑定机器码，插入即可使用），即可供5台机器同时使用，另附赠4个采集规则、1个发布模块。

6、企业版豪华版

适用人群：涵盖火车采集器的全部使用功能，可供更多台机器同时使用，适合中大型团队或企业级用户。

版本特点：企业版豪华版在功能上与企业版尊享版相同，都已经具备了火车采集器的所有功能。可绑定6台机器，为自动授权，即6台机器均可随时不限次数的自动更换授权，另包含4个加密狗（无需绑定，插入即可使用），可同时供10台机器使用。赠送8个采集规则和2个发布模块，豪华版还可免费享有一次时长为三小时的网络培训。

  用户如对网页抓取工具火车采集器V9有更高的使用或扩展方面的需求也可以联系官方咨询集团版或是定制版，希望用户们看了本攻略能够选择最适合自己的版本，用网页抓取工具真正为自己的工作和学习带来便利。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(15319)