火车采集器官方博客

网页抓取工具灵活抓取网页指定内容

作者：dong 发布于：2016-4-7 14:20 Thursday 分类：官方公告

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了，不过对于刚刚接触这个领域的朋友尤其是技术小白们来说，确实很难快速上手，所以我们需要用到一个方便快捷的抓取工具帮助我们快速实现需求，网页抓取工具火车采集器V9正是以稳定、便捷以及易于学习的特性，吸引了许多技术小白的青睐。

网页抓取工具火车采集器V9对不同使用需求的用户，分为不同的版本，对于初次接触网页抓取的朋友们来说，可以下载个免费版来练习下，对于需求不那么高的用户来说免费版已经可以基本满足使用需求了，那在火车采集器V9这个网页抓取工具的帮助下我们如何实现网页指定内容的灵活抓取呢？

一、抓取文本数据

网页中的文本数据在火车采集器中可以通过提取来实现采集，提取方式也有很多中，比如正文提取、前后截取、正则提取、json提取等。其中操作最简单的就是正文提取和前后截取，初学者随着学习使用的深入可以试着掌握其他的提取方式，功能更为强大、便捷。

二、抓取网址数据

网址也可以在网页抓取工具的采集下被快速获取保存，提取方式同样是多样可选的，比较规整的网址可以通过火车采集器V9自动识别获取的功能采集，也可以手动设置规则采集。

三、抓取文件或图片数据

既然是灵活地指定抓取，那么除了文字和网址，网页中的压缩文件或是图片当然也要被采集下来，火车采集器V9带有文件下载功能，可以勾选后自动探测并下载文件、下载图片，可以设置下载的路径和文件名样式，这样下载后就可以保存在用户的目标里了。

  在我们采集指定内容的过程中，也可能会采下一些不需要的数据，这可以通过数据处理进行解决，比如内容过滤、标签过滤、排重等。网页数据需求者们有了火车采集器就可以利用网页抓取工具的强大功能和特性，轻松实现网页指定内容的灵活抓取了，无需人工繁琐的操作，畅享网页抓取工具带来的低成本高效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(10910)

文章采集器——火车采集器V9数据处理功能详解

作者：dong 发布于：2016-4-6 11:51 Wednesday 分类：官方公告

用过火车采集器的朋友都知道，火车采集器是所有文章采集器里数据处理功能最为全面的，也因此被用户誉为最经典的采集软件，这里为大家详细的介绍一下文章采集器——火车采集器V9十一项强大的数据处理功能。

什么是数据处理？在火车采集器中，数据处理是对从内容页面提取到的信息数据进行进一步的加工处理，譬如替换、过滤等，火车采集器中可以同时添加多个操作，多个操作是按照从上到下的顺序来执行。也就是说，上个步骤的结果会作为下个步骤的参数。下面依次说明：

1、提取内容为空：即如果提取内容为空，则使用正则匹配内容从原始页面中再次提取。
2、内容替换/排除：顾名思义，表示对采集到的内容进行字符串替换，如需排除，则替换为空字符串即可。

3、html标签过滤：过滤指定html标签，比如<a ，<font 
4、字符截取：通过开始和结束字符串对内容进行截取
5、纯正则替换：通过强大的正则表达式进行复杂的内容替换。
6、数据转换：包括将结果简转繁、将结果繁转简、自动转化为拼音和时间修正转化

7、智能提取：包括提取第一张图片、智能提取时间、智能提取邮箱、智能提取手机号码、智能提取电话号码

8、高级功能：包括自动摘要、自动分词、Http请求、字符编码转换、同义词替换、空内容缺省值、内容加前后缀、随机插入、运行C#代码、批量内容替换，统计标签字符串长度等一系列功能。  

9、补全单网址：将当前内容作为一个网址进行补全。
10、文件下载：可以自动探测并下载文件，可设置下载路径和文件名样式。

11、内容过滤：对于一些不符合条件的记录，可以通过设置内容过滤来删除或标记为未采。

    我们采集文章时有了这十一项强大的数据处理功能，就能应对各类网站并将数据轻松处理成自己需要的形式，省时省力。火车采集器V9作为功能最全面的文章采集器，更够为我们的工作大幅提升效率，真正智能化的服务于用户。

标签: 火车采集器V9 文章采集器

评论(0) 引用(0) 浏览(3090)

抓取网页数据工具新增功能json提取示例

作者：dong 发布于：2016-3-31 15:24 Thursday 分类：官方公告

  使用过最新版火车采集器V9的朋友应该都发现V9新增了json提取的功能，但是许多使用抓取网页数据工具的朋友在操作此功能的时候都会觉得有点弄不明白，这里特意为大家整理了json提取的教程示例，感兴趣的朋友可以仔细研究一下。

  首先大家需要明白JSON 是有两种结构，简单的说json就是javascript中的对象和数组，所以这两种结构就是对象和数组两种，通过这两种结构可以表示各种复杂的结构。下面具体说明一下。

1、对象：对象在js中表示为“{}”括起来的内容，数据结构为 {key：value,key：value,...}的键值对的结构，在面向对象的语言中，key为对象的属性，value为属性值，所以很容易理解，取值方法为对象key 获取属性值value，这个属性值的类型可以是数字、字符串、数组、对象几种。

2、数组：数组在js中是中括号“[]”括起来的内容，数据结构为["java","javascript","vb",...]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

  经过对象、数组2种结构就可以组合成复杂的数据结构了。如下：

{ "name": "中国", "province": [{ "name": "黑龙江", "cities": { "city": ["哈尔滨", "大庆"] } }, { "name": "广东", "cities": { "city": ["广州", "深圳", "珠海"] } }, { "name": "台湾", "cities": { "city": ["台北", "高雄"] } }, { "name": "新疆", "cities": { "city": ["乌鲁木齐"] } }] }

    我们可以借助工具http://tool.oschina.net/codeformat/json 测试是否是JSON,格式化后如图：

  下面举例说明JSON提取的2种方式：

1、JSON数据源：URL网址

  如我们需要对JSON网址http://car.interface.autohome.com.cn/dealer/LoadDealerPrice.ashx?_callback=LoadDealerPrice&type=1&seriesid=3170&city=340100 做采集

  分析得出：此URL的整个源代码是个完整的JSON。 所以JSON数据源选择 URL网址然后勾选循环匹配，就可以采集到整个JSON里的数据。

如图：

2、JSON数据源：JSON文本： 另外一种情况，网址里的源码不全是JSON，而只是一部分代码是JSON形式，此时我们需要提取出这段JSON文本，然后再格式化。例如网址 http://car.autohome.com.cn/config/series/3170.html

  所以我们需要通过多页的形式，来获取本页地址里这部分JSON代码，然后再设置JSON表达式。

如图：

  按照上面的步骤，两种JSON提取就完成了，广大用户朋友们是不是觉得简单又好用，所以抓取网页数据工具首选火车采集器V9，功能全面且易用，新手朋友们多多联系，一定能快速上手，如还有疑问或其他问题请随时联系官方客服为您解答哦！

标签: 火车采集器V9 抓取网页数据工具

评论(0) 引用(0) 浏览(13880)

网站抓取精灵火车采集器如何定时自动运行？

作者：dong 发布于：2016-3-30 11:12 Wednesday 分类：功能介绍

  许多朋友在抓取网站时应该都会有这种体验，就是感到有些网站更新得实在太快，而我们一直盯着电脑去更新又费时又费力。不过网站抓取精灵火车采集器V9的计划任务功能真可谓一解了我们的燃眉之急，可以轻松实现自动更新，再也不需要我们盯着电脑点击运行了。

  那什么是计划任务呢？计划任务是火车采集器V9为实现对已经设置好的采集发布任务进行计划定时运行而研发的功能，具体操作如下：

　 　

开始菜单－计划任务

1、点击“ ＋分组 ” ，添加计划分组

2、选择一个分组，点击“ ＋计划任务 ” ，添加计划任务到选择分组

3、勾选任务，设置定时方案（可选择每间隔，每天，每周，仅一次，或使用Cron表达式）

4、保存即可看到计划状态

下面为Cron表达式语法说明：

在表达式中可以填写数字常量，也可以使用一些特殊符号创建更为复杂的任务：

逗号 (',') 分开的值，例如：“1,3,4,7,8”

连词符 ('-') 制定值的范围，例如：“1-6”，意思等同于“1,2,3,4,5,6”

星号 ('*') 代表任何可能的值。例如，在“小时域” 里的星号等于是“每一个小时”，等等

斜线 ('/') 用于表示跳过某些给定的数。例如，“*/3”在小时域中等于“0,3,6,9,12,15,18,21”等被3整除的数

问号 ('?') 只能用在日和周域上，但是不能在这两个域上同时使用。

一些例子:

"0 0 12 * * ?" 每天12点触发

"0 5 10 * * ?" 每天10:05触发

"0 0 10,14,16 * * ?" 每天10点、14点、16点触发

"0 0/30 9-17 * * ?"   每天9-17点每间隔半小时触发

"0 0 12 ? * 3" 表示每个星期二12点触发

"0 * 14 * * ?" 在每天14点到14:59期间的每1分钟触发

"0 0/5 14 * * ?" 在每天14点到14:55期间的每5分钟触发

如下图，每天15点触发运行：

   按照这里的例子大家多练习练习，讲了上面的这些，不知道大家都会用了吗，掌握这个功能，就可以真正解放我们的双手啦，把定时自动更新的抓取任务都交给网站抓取精灵火车采集器V9吧！

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(18245)

网页抓取工具火车采集器V9灵活提速五大招

作者：dong 发布于：2016-3-25 10:58 Friday 分类：官方公告

网页抓取工具​在互联网领域的应用已经是非常普遍了，但是许多朋友在使用的过程中都觉得速度不够快，或者不知道怎么提速，那针对目前使用人数最多的网页抓取工具火车采集器V9为大家支几招，大家可根据自己的使用情况对采集方案略作调整，看看是否能得到很好的效果~

第一招：调整采集线程和间隔时间

在编辑规则的其他设置中进行调整，如下图：

这里是对采集内容和发布内容的设置，设置的时间单位是毫秒，1000毫秒为1秒，这个间隔时间大家根据需要来设置就可以了，线程数的设置也不是越多越好的，要多试几次找到采集量对应的最佳线程数。但是提醒大家，这里的设置对采集网址是不生效的。

第二招：换用高级数据库

    我们可以选择使用较高级的数据库，比如sqlite、mysql等，尽量避免使用access，这样会对我们的速度提升有所帮助。本地保存数据库修改的方法这里就不细说了，如果不懂的话自行搜索下教程进行学习。

第三招：提高你采集所用电脑的配置和带宽

机器的配置和带宽肯定是会影响到采集速度的，这个就不用多说了，火车采集器使用最低的配置要求是：4G以上内存，i3以上的CPU，带宽速度至少能正常访问网页，硬盘根据大家的采集数据量适当等配置即可。

第四招：多个采集器同时采集，提高采集效率

    如果采集量很大，对时间要求又高的情况下，使用多个采集器同时运行也是较好的解决办法，当然了，需要不同的账号，一个账号是不能在多个机器登录的。

第五招：采集规则尽量最精简化

简单的规则运行起来自然就快，如果给加了很多冗余的步骤，那就像开车绕路一样。建议大家还是多练习练习，很快就能灵活的找到最简化的规则，节省采集时间。

大家按照上面的几种方法进行适当调整，一定能够看到我们利用网页抓取工具火车采集器V9进行采集或发布时速度的明显提升，网页抓取工具作为我们的工作利器，有很多灵活之处需要我们去挖掘，熟练上手后一定能大幅提升我们的工作效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(4168)