火车采集器官方博客

网页抓取工具灵活抓取网页指定内容

作者：dong 发布于：2016-4-7 14:20 Thursday 分类：官方公告

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了，不过对于刚刚接触这个领域的朋友尤其是技术小白们来说，确实很难快速上手，所以我们需要用到一个方便快捷的抓取工具帮助我们快速实现需求，网页抓取工具火车采集器V9正是以稳定、便捷以及易于学习的特性，吸引了许多技术小白的青睐。

网页抓取工具火车采集器V9对不同使用需求的用户，分为不同的版本，对于初次接触网页抓取的朋友们来说，可以下载个免费版来练习下，对于需求不那么高的用户来说免费版已经可以基本满足使用需求了，那在火车采集器V9这个网页抓取工具的帮助下我们如何实现网页指定内容的灵活抓取呢？

一、抓取文本数据

网页中的文本数据在火车采集器中可以通过提取来实现采集，提取方式也有很多中，比如正文提取、前后截取、正则提取、json提取等。其中操作最简单的就是正文提取和前后截取，初学者随着学习使用的深入可以试着掌握其他的提取方式，功能更为强大、便捷。

二、抓取网址数据

网址也可以在网页抓取工具的采集下被快速获取保存，提取方式同样是多样可选的，比较规整的网址可以通过火车采集器V9自动识别获取的功能采集，也可以手动设置规则采集。

三、抓取文件或图片数据

既然是灵活地指定抓取，那么除了文字和网址，网页中的压缩文件或是图片当然也要被采集下来，火车采集器V9带有文件下载功能，可以勾选后自动探测并下载文件、下载图片，可以设置下载的路径和文件名样式，这样下载后就可以保存在用户的目标里了。

  在我们采集指定内容的过程中，也可能会采下一些不需要的数据，这可以通过数据处理进行解决，比如内容过滤、标签过滤、排重等。网页数据需求者们有了火车采集器就可以利用网页抓取工具的强大功能和特性，轻松实现网页指定内容的灵活抓取了，无需人工繁琐的操作，畅享网页抓取工具带来的低成本高效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(10901)

网站抓取精灵火车采集器如何定时自动运行？

作者：dong 发布于：2016-3-30 11:12 Wednesday 分类：功能介绍

  许多朋友在抓取网站时应该都会有这种体验，就是感到有些网站更新得实在太快，而我们一直盯着电脑去更新又费时又费力。不过网站抓取精灵火车采集器V9的计划任务功能真可谓一解了我们的燃眉之急，可以轻松实现自动更新，再也不需要我们盯着电脑点击运行了。

  那什么是计划任务呢？计划任务是火车采集器V9为实现对已经设置好的采集发布任务进行计划定时运行而研发的功能，具体操作如下：

　 　

开始菜单－计划任务

1、点击“ ＋分组 ” ，添加计划分组

2、选择一个分组，点击“ ＋计划任务 ” ，添加计划任务到选择分组

3、勾选任务，设置定时方案（可选择每间隔，每天，每周，仅一次，或使用Cron表达式）

4、保存即可看到计划状态

下面为Cron表达式语法说明：

在表达式中可以填写数字常量，也可以使用一些特殊符号创建更为复杂的任务：

逗号 (',') 分开的值，例如：“1,3,4,7,8”

连词符 ('-') 制定值的范围，例如：“1-6”，意思等同于“1,2,3,4,5,6”

星号 ('*') 代表任何可能的值。例如，在“小时域” 里的星号等于是“每一个小时”，等等

斜线 ('/') 用于表示跳过某些给定的数。例如，“*/3”在小时域中等于“0,3,6,9,12,15,18,21”等被3整除的数

问号 ('?') 只能用在日和周域上，但是不能在这两个域上同时使用。

一些例子:

"0 0 12 * * ?" 每天12点触发

"0 5 10 * * ?" 每天10:05触发

"0 0 10,14,16 * * ?" 每天10点、14点、16点触发

"0 0/30 9-17 * * ?"   每天9-17点每间隔半小时触发

"0 0 12 ? * 3" 表示每个星期二12点触发

"0 * 14 * * ?" 在每天14点到14:59期间的每1分钟触发

"0 0/5 14 * * ?" 在每天14点到14:55期间的每5分钟触发

如下图，每天15点触发运行：

   按照这里的例子大家多练习练习，讲了上面的这些，不知道大家都会用了吗，掌握这个功能，就可以真正解放我们的双手啦，把定时自动更新的抓取任务都交给网站抓取精灵火车采集器V9吧！

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(18240)

网页抓取工具火车采集器V9灵活提速五大招

作者：dong 发布于：2016-3-25 10:58 Friday 分类：官方公告

网页抓取工具​在互联网领域的应用已经是非常普遍了，但是许多朋友在使用的过程中都觉得速度不够快，或者不知道怎么提速，那针对目前使用人数最多的网页抓取工具火车采集器V9为大家支几招，大家可根据自己的使用情况对采集方案略作调整，看看是否能得到很好的效果~

第一招：调整采集线程和间隔时间

在编辑规则的其他设置中进行调整，如下图：

这里是对采集内容和发布内容的设置，设置的时间单位是毫秒，1000毫秒为1秒，这个间隔时间大家根据需要来设置就可以了，线程数的设置也不是越多越好的，要多试几次找到采集量对应的最佳线程数。但是提醒大家，这里的设置对采集网址是不生效的。

第二招：换用高级数据库

    我们可以选择使用较高级的数据库，比如sqlite、mysql等，尽量避免使用access，这样会对我们的速度提升有所帮助。本地保存数据库修改的方法这里就不细说了，如果不懂的话自行搜索下教程进行学习。

第三招：提高你采集所用电脑的配置和带宽

机器的配置和带宽肯定是会影响到采集速度的，这个就不用多说了，火车采集器使用最低的配置要求是：4G以上内存，i3以上的CPU，带宽速度至少能正常访问网页，硬盘根据大家的采集数据量适当等配置即可。

第四招：多个采集器同时采集，提高采集效率

    如果采集量很大，对时间要求又高的情况下，使用多个采集器同时运行也是较好的解决办法，当然了，需要不同的账号，一个账号是不能在多个机器登录的。

第五招：采集规则尽量最精简化

简单的规则运行起来自然就快，如果给加了很多冗余的步骤，那就像开车绕路一样。建议大家还是多练习练习，很快就能灵活的找到最简化的规则，节省采集时间。

大家按照上面的几种方法进行适当调整，一定能够看到我们利用网页抓取工具火车采集器V9进行采集或发布时速度的明显提升，网页抓取工具作为我们的工作利器，有很多灵活之处需要我们去挖掘，熟练上手后一定能大幅提升我们的工作效率。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(4163)

网页抓取工具 火车采集器版本选择攻略

作者：dong 发布于：2016-3-21 14:01 Monday 分类：功能介绍

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了，不过对于刚刚接触这个领域的朋友尤其是技术小白们来说，确实很难快速上手，所以我们需要用到一个抓取内容的工具帮助我们便捷地实现需求，网页抓取工具火车采集器V9正是以稳定和快速的特性，吸引了许多技术小白的青睐。但是不少初次接触火车采集器的用户反馈说火车采集器V9有免费版、基础版、旗舰版机器码版、旗舰版自动授权版、企业版尊享版、企业版豪华版六大版本，该如何选择呢？因此我们为您准备了以下攻略，相信会对您选择版本有所帮助。

1、免费版

适用人群：适合数据的采集量小，需求也比较少的初级个人用户使用，或者是作为购买商业版之前用来测试功能的试用版本。

版本特点：目前免费版本已经覆盖基础的数据采集功能，可以保障用户最基本的使用需求。

2、基础版

适用人群：适合较为初级的个人用户使用，采集量不多，但对数据的获取和上传有一定的要求，比如文件下载不局限于图片和FLASH，需要定时采集等等。

版本特点：基础版需要绑定一台机器获得授权（可免费更换一次），从基础版开始可以享受售后服务：QQ群、E-mail、服务年限内免费更新，售后工单。相对免费版在功能上的增加包括任意格式文件下载、定时自动运行采集、无限级多页采集、使用ftp自动上传文件到网站、软件闪退后保存未完成的任务等。 

                     

3、旗舰版机器码版

适用人群：适合较为专业的个人用户，比如数据采集量相对较多，对数据处理和发布扩展有较高要求，则可以选择旗舰版机器码版。

版本特点：旗舰版机器码版包含基础版的全部功能和服务，并增加了文件自动上传、二级代理服务器、SSH上传、支持C#插件、图片加水印等功能。机器码版同样需要绑定一台机器（可免费更换一次），赠送一个采集规则和一个发布模块。

4、旗舰版自动授权版

适用人群：自动授权版的授权可以随时自动更换，适合需要进行大批量数据采集的用户，能够很好得解决因频繁访问所导致的封ip问题。

版本特点：需绑定一台机器，但可以不限次数的自动更换，除授权不同外，功能与旗舰版机器码版相同，服务方面可以享受官方附赠的两个采集规则和一个发布模块。

5、企业版尊享版

适用人群：涵盖火车采集器的全部使用功能，适合进行大规模数据采集，需要同时有多台机器运行软件的小型企业级或团队用户。

版本特点：企业版尊享版可绑定3台机器（可免费更换3次）并赠送2个加密狗（无需绑定机器码，插入即可使用），即可供5台机器同时使用，另附赠4个采集规则、1个发布模块。

6、企业版豪华版

适用人群：涵盖火车采集器的全部使用功能，可供更多台机器同时使用，适合中大型团队或企业级用户。

版本特点：企业版豪华版在功能上与企业版尊享版相同，都已经具备了火车采集器的所有功能。可绑定6台机器，为自动授权，即6台机器均可随时不限次数的自动更换授权，另包含4个加密狗（无需绑定，插入即可使用），可同时供10台机器使用。赠送8个采集规则和2个发布模块，豪华版还可免费享有一次时长为三小时的网络培训。

  用户如对网页抓取工具火车采集器V9有更高的使用或扩展方面的需求也可以联系官方咨询集团版或是定制版，希望用户们看了本攻略能够选择最适合自己的版本，用网页抓取工具真正为自己的工作和学习带来便利。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(14954)

网页抓取工具秒抓“大数据”

作者：dong 发布于：2016-3-15 10:19 Tuesday 分类：官方公告

近两年，大数据在人们过分的吹捧中显得十分神秘，特别是一些中小企业往往把大数据的建设和应用想象得过于庞大，因此对大数据望而却步。这种假象在很大程度上掩盖了中小企业寻求业务发展的方向和依靠大数据来挖掘市场的机会。而网页抓取工具火车采集器V9则能够帮助我们轻松实现秒抓“大数据”，从而对其加以利用，支撑企业的大数据产业建设。

 

网页抓取工具火车采集器V9是什么？它是一款web网页数据的采集、挖掘、处理软件。Web作为一个无法量计的信息资源宝藏，隐匿着海量的价值数据，并且这些数据每分每秒都在以惊人的速度膨胀着，让我们难以快速掌握。比如潜在客户的信息，市场的动态变化信息，竞品的价格和销量数据等等，要获取这些大数据必须拥有强大的数据分析和抓取能力，这就需要用到网页抓取工具。

 

网页抓取工具火车采集器V9能够快速准确的在网页中通过源代码定位到所需信息并进行提取，所提取的网页数据支持文本、图片及其他的多种文件格式。除了提取对象格式多样化外，网页抓取工具火车采集器V9还可以确保在不同的网页中都能够做到高效和通用，并且响应时间小于0.1秒，所以我们称之为秒抓大数据一点也不为过。

 

网页抓取工具帮助我们快速的获取到大数据资源，进而通过一系列的处理和分析，呈现出可利用的高价值。有了网页抓取工具来抓取大数据，则能够为企业开拓新的业务发展方向做引导；为政府的大数据治理方案做决策；为科研单位高效完成信息的检索和收集，让他们有更多时间深入研究工作；为网店运营者提升经营水平和工作效率。

 

如果说大数据是帮助企业谋求时代突破的有力法宝，那么网页抓取工具火车采集器V9就是助力中小企业跃进市场竞争的利器。大数据时代是属于全人类的，大数据价值的挖掘机会同样属于全人类，所以即使那些数据巨头们手中的数据资源不会拿出来共享，中小企业也仍然可以好好利用网页抓取工具火车采集器V9这一利器，秒抓大数据，投身大数据事业的建设，未来的信息化竞争中能否把握住局势还要看各方的积极准备，尤其是能否重视起核心竞争力。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(2984)