火车采集器官方博客

网页抓取工具助力大数据基础建设

作者：dong 发布于：2016-4-13 14:29 Wednesday 分类：官方公告

​几年前大数据带着一层神秘面纱走进了人们的视野，在“大数据”一词被炒至顶峰的一段时间里，人们甚至言必谈及大数据。如今大数据发展可谓是越来越接地气，各行各业开展相关应用的可行性较之以前高了很多。但是发展大数据的过程中，若想将其变成一种基本能力，基础数据建设仍是不可忽视的环节，一款可以轻松抓取和解析全球网页数据的网页抓取工具，就更加必不可少了。

网页抓取工具是什么？我们日常所需的大数据多来自公开的互联网和其他录入型设备，对其中体量最为庞大的互联网来说，网页抓取工具就是用来提取互联网中的数据。

基于互联网数据海量的特性，网页抓取工具必须满足的条件之一就是高效。所以市场中最高效的网页抓取工具火车采集器V9采用的就是源代码提取的方式，这种提取方式不需要将数据经过浏览器的解析，而是直接抽取web结构。除此之外，火车采集器V9对整个数据提取流程做了最简化梳理，使得其在提取速度提升的基础上操作也能更加高效。

网页抓取工具是否免费？最令大数据需求群体关注的问题除效率和易用性之外，就是工具是否免费使用。网页抓取工具火车采集器V9免费版，目前已经积累了40多万用户，每天响应客户端都在一万以上，这也从侧面说明了火车采集器软件和服务器的稳定性。

网页抓取工具还有其他用途吗？区别于一些小众的采集工具，火车采集器V9不仅仅提供强大的数据抓取功能，还有强大的数据处理和发布功能，这些特色用途的操作都十分简单易用，可以根据教程的指导快速上手，帮助我们在技术知识相对薄弱的情况下，也能轻松高效地处理数据和发布数据。而无需再煞费苦心地研究代码或是寻求其他的技术支持了，所以选择一款好用的网页抓取工具是十分必要的。

学会了网页抓取工具，大数据的基础数据建设今后可以在其协作下变得轻松、高效。为能更好地适应大数据生态系统的发展需求，我们必须紧跟时代潮流的脚步，及时拓展和发散思维，不墨守成规，用超前的视角去发掘，用坚定的信念去执行。

标签: 火车采集器 网页抓取工具 大数据

评论(0) 引用(0) 浏览(3166)

网页抓取工具灵活抓取网页指定内容

作者：dong 发布于：2016-4-7 14:20 Thursday 分类：官方公告

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了，不过对于刚刚接触这个领域的朋友尤其是技术小白们来说，确实很难快速上手，所以我们需要用到一个方便快捷的抓取工具帮助我们快速实现需求，网页抓取工具火车采集器V9正是以稳定、便捷以及易于学习的特性，吸引了许多技术小白的青睐。

网页抓取工具火车采集器V9对不同使用需求的用户，分为不同的版本，对于初次接触网页抓取的朋友们来说，可以下载个免费版来练习下，对于需求不那么高的用户来说免费版已经可以基本满足使用需求了，那在火车采集器V9这个网页抓取工具的帮助下我们如何实现网页指定内容的灵活抓取呢？

一、抓取文本数据

网页中的文本数据在火车采集器中可以通过提取来实现采集，提取方式也有很多中，比如正文提取、前后截取、正则提取、json提取等。其中操作最简单的就是正文提取和前后截取，初学者随着学习使用的深入可以试着掌握其他的提取方式，功能更为强大、便捷。

二、抓取网址数据

网址也可以在网页抓取工具的采集下被快速获取保存，提取方式同样是多样可选的，比较规整的网址可以通过火车采集器V9自动识别获取的功能采集，也可以手动设置规则采集。

三、抓取文件或图片数据

既然是灵活地指定抓取，那么除了文字和网址，网页中的压缩文件或是图片当然也要被采集下来，火车采集器V9带有文件下载功能，可以勾选后自动探测并下载文件、下载图片，可以设置下载的路径和文件名样式，这样下载后就可以保存在用户的目标里了。

  在我们采集指定内容的过程中，也可能会采下一些不需要的数据，这可以通过数据处理进行解决，比如内容过滤、标签过滤、排重等。网页数据需求者们有了火车采集器就可以利用网页抓取工具的强大功能和特性，轻松实现网页指定内容的灵活抓取了，无需人工繁琐的操作，畅享网页抓取工具带来的低成本高效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(11204)

文章采集器——火车采集器V9数据处理功能详解

作者：dong 发布于：2016-4-6 11:51 Wednesday 分类：官方公告

用过火车采集器的朋友都知道，火车采集器是所有文章采集器里数据处理功能最为全面的，也因此被用户誉为最经典的采集软件，这里为大家详细的介绍一下文章采集器——火车采集器V9十一项强大的数据处理功能。

什么是数据处理？在火车采集器中，数据处理是对从内容页面提取到的信息数据进行进一步的加工处理，譬如替换、过滤等，火车采集器中可以同时添加多个操作，多个操作是按照从上到下的顺序来执行。也就是说，上个步骤的结果会作为下个步骤的参数。下面依次说明：

1、提取内容为空：即如果提取内容为空，则使用正则匹配内容从原始页面中再次提取。
2、内容替换/排除：顾名思义，表示对采集到的内容进行字符串替换，如需排除，则替换为空字符串即可。

3、html标签过滤：过滤指定html标签，比如<a ，<font 
4、字符截取：通过开始和结束字符串对内容进行截取
5、纯正则替换：通过强大的正则表达式进行复杂的内容替换。
6、数据转换：包括将结果简转繁、将结果繁转简、自动转化为拼音和时间修正转化

7、智能提取：包括提取第一张图片、智能提取时间、智能提取邮箱、智能提取手机号码、智能提取电话号码

8、高级功能：包括自动摘要、自动分词、Http请求、字符编码转换、同义词替换、空内容缺省值、内容加前后缀、随机插入、运行C#代码、批量内容替换，统计标签字符串长度等一系列功能。  

9、补全单网址：将当前内容作为一个网址进行补全。
10、文件下载：可以自动探测并下载文件，可设置下载路径和文件名样式。

11、内容过滤：对于一些不符合条件的记录，可以通过设置内容过滤来删除或标记为未采。

    我们采集文章时有了这十一项强大的数据处理功能，就能应对各类网站并将数据轻松处理成自己需要的形式，省时省力。火车采集器V9作为功能最全面的文章采集器，更够为我们的工作大幅提升效率，真正智能化的服务于用户。

标签: 火车采集器V9 文章采集器

评论(0) 引用(0) 浏览(3464)

抓取网页数据工具新增功能json提取示例

作者：dong 发布于：2016-3-31 15:24 Thursday 分类：官方公告

  使用过最新版火车采集器V9的朋友应该都发现V9新增了json提取的功能，但是许多使用抓取网页数据工具的朋友在操作此功能的时候都会觉得有点弄不明白，这里特意为大家整理了json提取的教程示例，感兴趣的朋友可以仔细研究一下。

  首先大家需要明白JSON 是有两种结构，简单的说json就是javascript中的对象和数组，所以这两种结构就是对象和数组两种，通过这两种结构可以表示各种复杂的结构。下面具体说明一下。

1、对象：对象在js中表示为“{}”括起来的内容，数据结构为 {key：value,key：value,...}的键值对的结构，在面向对象的语言中，key为对象的属性，value为属性值，所以很容易理解，取值方法为对象key 获取属性值value，这个属性值的类型可以是数字、字符串、数组、对象几种。

2、数组：数组在js中是中括号“[]”括起来的内容，数据结构为["java","javascript","vb",...]，取值方式和所有语言中一样，使用索引获取，字段值的类型可以是 数字、字符串、数组、对象几种。

  经过对象、数组2种结构就可以组合成复杂的数据结构了。如下：

{ "name": "中国", "province": [{ "name": "黑龙江", "cities": { "city": ["哈尔滨", "大庆"] } }, { "name": "广东", "cities": { "city": ["广州", "深圳", "珠海"] } }, { "name": "台湾", "cities": { "city": ["台北", "高雄"] } }, { "name": "新疆", "cities": { "city": ["乌鲁木齐"] } }] }

    我们可以借助工具http://tool.oschina.net/codeformat/json 测试是否是JSON,格式化后如图：

  下面举例说明JSON提取的2种方式：

1、JSON数据源：URL网址

  如我们需要对JSON网址http://car.interface.autohome.com.cn/dealer/LoadDealerPrice.ashx?_callback=LoadDealerPrice&type=1&seriesid=3170&city=340100 做采集

  分析得出：此URL的整个源代码是个完整的JSON。 所以JSON数据源选择 URL网址然后勾选循环匹配，就可以采集到整个JSON里的数据。

如图：

2、JSON数据源：JSON文本： 另外一种情况，网址里的源码不全是JSON，而只是一部分代码是JSON形式，此时我们需要提取出这段JSON文本，然后再格式化。例如网址 http://car.autohome.com.cn/config/series/3170.html

  所以我们需要通过多页的形式，来获取本页地址里这部分JSON代码，然后再设置JSON表达式。

如图：

  按照上面的步骤，两种JSON提取就完成了，广大用户朋友们是不是觉得简单又好用，所以抓取网页数据工具首选火车采集器V9，功能全面且易用，新手朋友们多多联系，一定能快速上手，如还有疑问或其他问题请随时联系官方客服为您解答哦！

标签: 火车采集器V9 抓取网页数据工具

评论(0) 引用(0) 浏览(14206)

网站抓取精灵火车采集器如何定时自动运行？

作者：dong 发布于：2016-3-30 11:12 Wednesday 分类：功能介绍

  许多朋友在抓取网站时应该都会有这种体验，就是感到有些网站更新得实在太快，而我们一直盯着电脑去更新又费时又费力。不过网站抓取精灵火车采集器V9的计划任务功能真可谓一解了我们的燃眉之急，可以轻松实现自动更新，再也不需要我们盯着电脑点击运行了。

  那什么是计划任务呢？计划任务是火车采集器V9为实现对已经设置好的采集发布任务进行计划定时运行而研发的功能，具体操作如下：

　 　

开始菜单－计划任务

1、点击“ ＋分组 ” ，添加计划分组

2、选择一个分组，点击“ ＋计划任务 ” ，添加计划任务到选择分组

3、勾选任务，设置定时方案（可选择每间隔，每天，每周，仅一次，或使用Cron表达式）

4、保存即可看到计划状态

下面为Cron表达式语法说明：

在表达式中可以填写数字常量，也可以使用一些特殊符号创建更为复杂的任务：

逗号 (',') 分开的值，例如：“1,3,4,7,8”

连词符 ('-') 制定值的范围，例如：“1-6”，意思等同于“1,2,3,4,5,6”

星号 ('*') 代表任何可能的值。例如，在“小时域” 里的星号等于是“每一个小时”，等等

斜线 ('/') 用于表示跳过某些给定的数。例如，“*/3”在小时域中等于“0,3,6,9,12,15,18,21”等被3整除的数

问号 ('?') 只能用在日和周域上，但是不能在这两个域上同时使用。

一些例子:

"0 0 12 * * ?" 每天12点触发

"0 5 10 * * ?" 每天10:05触发

"0 0 10,14,16 * * ?" 每天10点、14点、16点触发

"0 0/30 9-17 * * ?"   每天9-17点每间隔半小时触发

"0 0 12 ? * 3" 表示每个星期二12点触发

"0 * 14 * * ?" 在每天14点到14:59期间的每1分钟触发

"0 0/5 14 * * ?" 在每天14点到14:55期间的每5分钟触发

如下图，每天15点触发运行：

   按照这里的例子大家多练习练习，讲了上面的这些，不知道大家都会用了吗，掌握这个功能，就可以真正解放我们的双手啦，把定时自动更新的抓取任务都交给网站抓取精灵火车采集器V9吧！

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(18551)