超越Phantomjs的商业浏览器开发SDK

作者:小文 发布于:2018-8-1 17:45 Wednesday 分类:功能介绍

最低只要七行代码,执行一个完整的任务,超越Phantomjs的商业浏览器开发SDK了解一下,资料下载  。火车浏览器V7二次开发SDK(C#).zip

 

以下为相关截图:

 

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

 

评论(0) 引用(0) 浏览(2508)

网站抓取精灵火车采集器如何定时自动运行?

作者:dong 发布于:2016-3-30 11:12 Wednesday 分类:功能介绍

  许多朋友在抓取网站时应该都会有这种体验,就是感到有些网站更新得实在太快,而我们一直盯着电脑去更新又费时又费力。不过网站抓取精灵火车采集器V9的计划任务功能真可谓一解了我们的燃眉之急,可以轻松实现自动更新,再也不需要我们盯着电脑点击运行了。


  那什么是计划任务呢?计划任务是火车采集器V9为实现对已经设置好的采集发布任务进行计划定时运行而研发的功能,具体操作如下:

   

开始菜单-计划任务


1、点击“ +分组 ” ,添加计划分组

2、选择一个分组,点击“ +计划任务 ” ,添加计划任务到选择分组

3、勾选任务,设置定时方案(可选择每间隔,每天,每周,仅一次,或使用Cron表达式)

001.png

4、保存即可看到计划状态


002.png

下面为Cron表达式语法说明:


003.png

在表达式中可以填写数字常量,也可以使用一些特殊符号创建更为复杂的任务:
逗号 (',') 分开的值,例如:“1,3,4,7,8”
连词符 ('-') 制定值的范围,例如:“1-6”,意思等同于“1,2,3,4,5,6”
星号 ('*') 代表任何可能的值。例如,在“小时域” 里的星号等于是“每一个小时”,等等
斜线 ('/') 用于表示跳过某些给定的数。例如,“*/3”在小时域中等于“0,3,6,9,12,15,18,21”等被3整除的数
问号 ('?') 只能用在日和周域上,但是不能在这两个域上同时使用。
 
一些例子:
"0 0 12 * * ?" 每天12点触发
"0 5 10 * * ?" 每天10:05触发
"0 0 10,14,16 * * ?" 每天10点、14点、16点触发
"0 0/30 9-17 * * ?"   每天9-17点每间隔半小时触发
"0 0 12 ? * 3" 表示每个星期二12点触发
"0 * 14 * * ?" 在每天14点到14:59期间的每1分钟触发
"0 0/5 14 * * ?" 在每天14点到14:55期间的每5分钟触发

如下图,每天15点触发运行:

004.png

   按照这里的例子大家多练习练习,讲了上面的这些,不知道大家都会用了吗,掌握这个功能,就可以真正解放我们的双手啦,把定时自动更新的抓取任务都交给网站抓取精灵火车采集器V9吧!


标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(18227)

网页抓取工具 火车采集器版本选择攻略

作者:dong 发布于:2016-3-21 14:01 Monday 分类:功能介绍

  抓取网页上的指定内容在互联网领域已经是非常普遍的需求了,不过对于刚刚接触这个领域的朋友尤其是技术小白们来说,确实很难快速上手,所以我们需要用到一个抓取内容的工具帮助我们便捷地实现需求,网页抓取工具火车采集器V9正是以稳定和快速的特性,吸引了许多技术小白的青睐。但是不少初次接触火车采集器的用户反馈说火车采集器V9有免费版、基础版、旗舰版机器码版、旗舰版自动授权版、企业版尊享版、企业版豪华版六大版本,该如何选择呢?因此我们为您准备了以下攻略,相信会对您选择版本有所帮助。


1、免费版

适用人群:适合数据的采集量小,需求也比较少的初级个人用户使用,或者是作为购买商业版之前用来测试功能的试用版本。

版本特点:目前免费版本已经覆盖基础的数据采集功能,可以保障用户最基本的使用需求。


2、基础版

适用人群:适合较为初级的个人用户使用,采集量不多,但对数据的获取和上传有一定的要求,比如文件下载不局限于图片和FLASH,需要定时采集等等。

版本特点:基础版需要绑定一台机器获得授权(可免费更换一次),从基础版开始可以享受售后服务:QQ群、E-mail、服务年限内免费更新,售后工单。相对免费版在功能上的增加包括任意格式文件下载、定时自动运行采集、无限级多页采集、使用ftp自动上传文件到网站、软件闪退后保存未完成的任务等。 

                     

3、旗舰版机器码版

适用人群:适合较为专业的个人用户,比如数据采集量相对较多,对数据处理和发布扩展有较高要求,则可以选择旗舰版机器码版。

版本特点:旗舰版机器码版包含基础版的全部功能和服务,并增加了文件自动上传、二级代理服务器、SSH上传、支持C#插件、图片加水印等功能。机器码版同样需要绑定一台机器(可免费更换一次),赠送一个采集规则和一个发布模块。


4、旗舰版自动授权版

适用人群:自动授权版的授权可以随时自动更换,适合需要进行大批量数据采集的用户,能够很好得解决因频繁访问所导致的封ip问题。

版本特点:需绑定一台机器,但可以不限次数的自动更换,除授权不同外,功能与旗舰版机器码版相同,服务方面可以享受官方附赠的两个采集规则和一个发布模块。


5、企业版尊享版

适用人群:涵盖火车采集器的全部使用功能,适合进行大规模数据采集,需要同时有多台机器运行软件的小型企业级或团队用户。

版本特点:企业版尊享版可绑定3台机器(可免费更换3次)并赠送2个加密狗(无需绑定机器码,插入即可使用),即可供5台机器同时使用,另附赠4个采集规则、1个发布模块。


6、企业版豪华版

适用人群:涵盖火车采集器的全部使用功能,可供更多台机器同时使用,适合中大型团队或企业级用户。

版本特点:企业版豪华版在功能上与企业版尊享版相同,都已经具备了火车采集器的所有功能。可绑定6台机器,为自动授权,即6台机器均可随时不限次数的自动更换授权,另包含4个加密狗(无需绑定,插入即可使用),可同时供10台机器使用。赠送8个采集规则和2个发布模块,豪华版还可免费享有一次时长为三小时的网络培训。


  用户如对网页抓取工具火车采集器V9有更高的使用或扩展方面的需求也可以联系官方咨询集团版或是定制版,希望用户们看了本攻略能够选择最适合自己的版本,用网页抓取工具真正为自己的工作和学习带来便利。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(14941)

使用文章采集软件快速锁定微信爆文

作者:dong 发布于:2015-12-9 9:20 Wednesday 分类:功能介绍

       微信的火爆让各行各业的公众号如雨后春笋,快速产生并运营起来,每天所发布的新文章更是数不胜数,其中不乏一些精品文章,带来大量的阅读,点赞和转载量。 然而对于大部分人来说,写好一篇这样的爆文还是非常有难度的,为了学习和借鉴精品文章的可取之处,我们可以将大量的爆文采集下来加以分析,如果将爆文的精 彩之处运用得当,或许还能够为我们引来流量。

       对于微信文章的采集我们可以使用文章采集软件火车采集器V9,之所以用到专业的文章采集软件, 是因为我们需要采集的文章数量较大,而手动的采集往往效率过于低下。文章来源是通过搜狗微信搜索,采集操作是通过火车采集器V9,火车采集器在抓取文章时 不仅可以抓取文字,还可以下载图片,确保原文所有内容无遗漏,在此基础上还可以根据使用需求对文章做适当的调整和处理。具体的使用方法比较简单,易于上 手,新用户在火车采集器官网(locoy.com)根据教程进行一番学习即可。

      这里为大家介绍三种不同的微信文章采集方式:第一种,根据分类采集文章。文章的分类通常很多,像是教育、娱乐、科技、房产、汽车、财经等。如果我们要做的运营类型专攻某一领域,则可以通过这种方法实现,避免在与需求不符的分类上耗费时间。

      第二种,指定公众号采集文章。我们可以选择将某个或某些感兴趣的公众号作为采集对象,进入公众号页面后将其发布的所有文章采集下来,进行细化的分析研究,采集下来的文章可以进行时间排序和再分类。

      第三种方法是根据关键词采集文章。首先拟定关键词进行搜索,比如时下一些热门词汇:中非共赢、国足、大数据、创业等,然后将按照关键词搜索的文章结果采集下来即可。

      针对最热的文章,火车采集器则是进行实时地更新抓取和排序,无需人工值守。经过采集积累,用户就能拥有大量的文章资源和每日最火爆文的排行榜,分析其标 题拟定的规律和内容信息,可以为自己写出一篇爆文打好基础,同时这些文章资源也可以使用火车采集器V9编辑处理后选择发布到自己的数据库中,丰富数据库内 容,吸引流量。

标签: 伪原创 火车采集器V9 网站采集软件

评论(0) 引用(0) 浏览(6052)

学会网页数据抓取让互联网成为你的私人数据库

作者:dong 发布于:2015-12-7 10:38 Monday 分类:功能介绍

       在开放的互联网平台中,你可以尽情的浏览自己感兴趣的网页,查询所需要的相关知识,互联网好似一个庞大的公开数据库,每时每刻都在源源不断地输入和输出信 息,并且产生着巨大地价值。当然,如果你懂得数据采集,互联网这个数据库也可以为你所用,甚至成为你的私人数据库。

       互联网是时代的产物,没有明确的归属性,但其中的数据可以在人类的复制,分类和处理下被赋予归属性,前提是掌握网页数据抓取技 术。就技术层面而言,对于会写程序的技术大牛来说,网页数据抓取可以通过自己编写程序来实现,但这可能需要花费一定的时间,因为网页抓取涉及到多类型的分 页、头文件、cookie等等,如果只是抓取同一种网页基本可以写一个程序通用,如果网页多样化,可能就需要分别处理。相比之下较为快捷的方式是使用软 件,第三方软件一般具备很强的通用性,比如火车采集器V9就兼具网页抓取的各种需求:能通过GET、POST、ASPX POST三种方法提交请求,支持抓包和内置浏览器登录两种方式实现登录采集,可以进行列表和内容分页的获取,允许无限级多页采集,过滤替换等全面的数据处 理,多种数据库入库……其次,在采集速度方面也是经过了多次优化,最终呈现出通用高效的采集效果。

       对于非技术人员来说火车采集器更是最佳的选择,因为不需要深入地写程序,上手较为容易。在熟悉火车采集器的操作之后也就基本掌握网页数据抓取技术了,可以 针对个人的需求或偏好寻找目标网页和目标数据。举例来说,企业可以抓取一些分类信息网站上的求购信息加以挖掘;科研团队可以抓取互联网中的文献图片等资料 用于研究;站长朋友们可以抓取精品文章丰富网站内容……明确目标后我们就能如同蜜蜂采集蜂蜜一样畅享互联网中的海量资源了,通过火车采集器V9还可以将数 据导入或发布到自己的数据库,整个开放的互联网都将为你的私人数据库提供来源。

       大数据时代拥有数据才能够拥有竞争力,各个行业都要充分利用起现有的资源,在互联网的数据海洋中为你的数据库掘金!

标签: 伪原创 火车采集器V9 网站采集软件

评论(0) 引用(0) 浏览(11110)

Powered by emlog