火车采集器官方博客

网络爬虫火车浏览器特色功能之生成exe程序

作者：dong 发布于：2016-4-26 14:50 Tuesday 分类：官方公告

    火车浏览器​软件不仅可以用来做脚本和项目管理，从而实现采集等web操作需求，还有一些与众不同的功能，其中之一就是可以让用户自助生成exe程序，用户生成的程序是可以自行销售给他人使用的。下面一起学习一下如何打包生

成exe程序.

    打开火车浏览器软件的脚本编辑器，在工具菜単下有一个exe打包生成器，该工具可以将我们的脚本和浏览器进行打包，以单独的新产品面貌展现给用户，方便我们自已开发好脚本块卖给客户，也可以方便自己多台电脑布置采集任务。

 

如图，新建一个项目,我们可以设置新生成的软件名称、软件图标、还有关于生成者的介绍。这样生成的程序和一般我们使用的程序在功能上几乎没有什么区别。打包的软件名称要求是中文，版本号可以根据生成者的意愿填写1.0、1.2、2.3这样的数字。

    那么打包的exe是何种授权方式呢？免费版的可以任意使用,试用版的最

多使用30天，授权版的是使用机器码，可以设置使用的时间长度。其中，软件识別码是从官方授权管理系统得到的，可以实现自动升级，免费版的软件识别码是固定的32个“0”。

生成设置可以选择不同的模板，简单任务不需要传入任何变量, 批量査询模板为选择一个文本文件, 文本文件中每一行都是一个“关键词”变量。然后用文本中的“关键词”変量替换脚本中的変量,进行批量的査询:群发文章模板为选择一个文件夹，文件夹中的所有txt文本都做为-个文章来发布。文章是文件名，文章内容是文件内容。可以选择发完就删除文本，也可以不删除，脚本中必须要有“标题”和“内容”两个交量。这里我们做批量査询的例子，就选择査询模板，将査询的关键词放在文本文件中，然后脚本中创建一个关键词変量，在生成的exe中就可以直接号入关键词文本，进行批量査询。

运行设置根据需要勾选显示内容和设置进程数和运行间隔，关于我们填写一些联系方式和说明文字即可。

附加数据，是生成exe时软件一并打包的文本夹或文件。其实我们自己复制也可以，但这个自动复制还是会比较方便的。那这些设置好以后，我们就可以通过软件的预览功能查看我们软件的样子了。

我们可以在预览那里填写文本查看实际运行的效果，等测试无误了，然后再生成exe，生成完成后，会打开目录。这样一个新的工具软件就出来了。我们做的例子是一个新闻采集的工具，只要更换脚本或是关键词，我们就可以做其他的工具。需要注意的是，脚本程序运行时，文本中运行的值运行一次以后，就会将历史记录保存在history.txt中，下次不会再运行，要再次运行，可以删除或是编辑history.txt文件。

用户在生成exe时只需要负责脚本和服务就可以了，由火车浏览器官方提供注册服务和自动升级。正如大家看到的，用户不仅可以使用火车浏览器实现自己的一系列web操作需求，更能自己做开发，获得盈利，甚至可以利用火车浏览器来做营销。因此火车浏览器不止是一款网络爬虫工具，更是一款万能的web操作神器，值得大家学习和使用。

标签: 火车浏览器 网络爬虫

评论(0) 引用(0) 浏览(4649)

网站抓取精灵火车采集器V9最全术语解释

作者：dong 发布于：2016-4-25 13:38 Monday 分类：官方公告

网站抓取精灵火车采集器是目前功能最全面的采集软件，使用者只需稍加学习即可快速上手，这里是火车采集器V9 的操作术语解释。

1.采集任务

    采集任务是火车采集器中对于数据采集和数据发布任务的完整配置，包含采集规则和发布模块。

2.采集规则

    即我们对如何采集和采集什么的问题给出一些设置让采集器按照设置的规则来执行，这个设置可以从火车采集器里面导出保存为.ljobx文件，
    也可以再次导入火车采集器。 

3.发布模块

    在火车采集器中，发布模块是对“将已经采集到的数据发布到哪里”进行的设置。包括WEB在线发布模块和数据库发布模块，其设置分别可以导出保存为.wpm文件       和.dbm文件，并可以再次导入火车采集器，多次使用。

4.发布接口

    发布接口是一个小型的页面程序，通常和WEB在线发布模块配合使用来满足用户的特定需求。即采集器将采集的数据发送到发布接口文件中，接口文件得到数据，

    并按照用户特定需求灵活地处理数据。

5.标签

    是指用来提取某项内容信息的一个字段名字，由用户在编辑规则的时候指定，比如标题、手机号、邮件、作者，内容标签采集到的信息在发布模块中就可以通过

    该标签名对应获取到，格式为[标签：标签名]如[标签：标题]。标签在火车采集器里面有分为两种：分别为列表页标签和内容页标签，顾名思义列表页标签就是在获取列表页时（即采网址时）就获取到内容信息，内容页标签是在获取内容页或多页内容时（采内容）才获取内容信息。

注：通常还有一种说法为 html标签，这里的标签是指一些html代码里面的属性标识符，如：<a href里面的a标签，里面的font标签为html标签，该术语在内容处理的html标签排除项出现。

6.（*）

    在使用火车采集器时经常会遇到这个符号，它是变量的通用符号，如果我们只需要知道这个变量的变化规律，而不需要关心这个变量到底是什么，这时就可使用这个
    符号代替。

7.[参数]

    用来匹配某项准备提取信息的标记标签，如想要在代码中提取组合出某种格式。以从代码"mClk(this,'108484','134217', '168475','1');"中提取组合出新
    的地址格式为例。"mClk(this,'[参数]','[参数]', '[参数]','1'); ",按照次序，108484参数就是参数1，依次类推。实际需要的地址为以下的地址格式：
    bbs/read.php?id=[参数1]& sort=[参数3]&action=[参数2]，上面代码中的3个参数和下面地址中的id，soft和action参数要对应相应的值，次序不要颠倒。
    这样就组合成了新的地址格式。

8.起始网址

    用来获取下级链接地址的入口网址，可以为一条或多条，可以通过添加起始网址向导添加同格式多条网址或导入文本网址。如果没有定义多级网址的获取方法，
    这些地址即作为内容页网址进行内容采集。

9.多级网址

    依次根据列表里面的多级网址顺序采集分析地址，通过依次采集分析到最后一级得到内容页地址。多级网址的获取可以使用页面自动分析和手动获取的方法采集
    下级网址，在采集的过程中，可以同时采集列表分页及提取列表页附加参数。

10.Cookie

    是在Http请求访问中记录您的用户信息即登录信息的一段用于与服务器进行交互的字符串。在浏览器中使用时通常还会以文本形式记录到您的IE缓存目录中,
    以便下次在有效期内不用输入用户信息即可继续访问验证权限的网页。

11.User-Agent

    浏览器标识，是用来向服务器通知您使用的客户端类型，在某些需要登录的网页可能需要同时验证Cookie和User-Agent，所以需要您将其设置为与本机浏览器
    同样的格式。

12.分页

    列表或内容页面较长，分成多个页面显示，采集时需要将所有子页的内容组合起来，这样的子页面就是分页（列表分页或内容分页）。

13.多页

    有些情况下，需要采集一个页面对应的网址，图片等内容时，需要另外打开一个新的页面才能采集到这些信息，这些另外打开的页面则称为多页。

14.网页编码

    是在网页中指定其特定字符编码格式的库，例如一般在网页中都要有如下一句：<meta http-equiv="Content-Type"content="text/html;charset=gb2312">，

    这样的字句指示此网页的字符集编码是GB2312。火车采集器对一般的网页可以做到自动识别，也罗列出了大部分的网页编码格式,可以直接在采集器中手动选择指定

    相应的编码格式。

15.代理

    是指网络中的代理服务器，可以代理网络用户去取得所需要的网络信息。代理的功能有可以突破自身ip的访问限制访问国外站点，访问一些单位或团体内部资源，
    突破电信的ip封锁和隐藏真实的ip等。

16.插件

    在火车采集器，插件是指可以对采集到的数据进行特定处理的一个外部程序，编写好插件后，采集器可以把数据传递给插件，然后对数据进行处理，
    再把数据传给采集器。（可自行开发，也可联系客服定制。）

17.Cron表达式

    在火车采集器计划任务管理器的设置中，可以设置完整的cron表达式来表示对任务的计划执行。它是一个由6或7个子表达式组成的字符串。每一个表达
    式代表一个域，每个域描述了一个单独的日程细节且每个域之间使用空格分隔，它由两种格式组成。

Seconds Minutes Hours DayofMonth Month DayofWeek Year
Seconds Minutes Hours DayofMonth Month DayofWeek
一个Cron表达式至少有6或7个有空格分隔的时间元素，每个时间元素都使用数字，但还可以出现如下特殊字符，他们的含义分别表示：
1.Seconds 秒 (允许值为0-59，允许的特殊符号，- * /)
2.Minutes 分钟 (允许值为0-59，允许的特殊符号，- * /)
3.Hours 小时 (允许值为0-23，允许的特殊符号，- * /)
4.Day-of-Month 月中的天 (允许值为1-31，允许的特殊符号，- * / ? L W C)
5.Month 月 (允许值为1-12或者JAN-DEC，允许的特殊符号，- * /)
6.Day-of-Week 周中的天 (允许值为1-7或者SUN-SAT，允许的特殊符号，- * / ? L C #)
7.Year (optional field) 年（可选的域，允许值为留空或者1970-2099，允许的特殊符号，- * /）
特殊字符含义：
(1) * 表示该域的任意值。如在Minutes域使用，即表示每分钟都会触发事件。
(2) ? 只能用在DayofMonth和DayofWeek两个域。实际上不会匹配域的任意值，因为DayofMonth和DayofWeek会相互影响。如想在 每月的20日触发调度，

不管20日是周几，则只能使用如下写法：13 13 15 20 * ?，其中最后一位只能用?，而不能用，如果使用*表示每月的20号15时13分13秒不管是周几都会触发，实际上不是的。
(3) – 表示范围，如在Minutes域中使用5-20，表示5到20分钟每分钟触发一次
(4) / 表示起始时间开始触发，然后每隔固定时间触发一次。如在Minutes域中使用5/20，表示从分钟数5开始每隔20分钟触发一次，结果25,45,05等分别触发一次。
(5) ， 表示列出枚举值。如在Minutes域中使用5,20，则表示5分钟和20分钟每分钟触发一次。
(6) L 表示最后，只能出现在DayofMonth和DayofWeek域。
(7) W 表示有效工作日（周一到周五），只能出现在DayofMonth域中，系统将在离指定日期最近的有效工作日触发事件。另外，W的最近寻找不会跨过月份。
(8) # 用于确定每个月第几个星期几，只能出现在DayofMonth域中。如4#2表示某月的第二个星期四。
    完整的corn表达式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8点15分开始定时更新数据。

18.任务网址库

    采集器在文件夹DataLocoySpiderPageUrl下，该站点下的每一个任务都会生成一个独立或公用的网址库用来对比网址重复之用。

19.HTTP请求

浏览器打开网页时实际就是发送一个又一个Http请求，火车采集器也一样，从指定的地址获取内容的过程就是发送Http请求，然后对根据请求得到的内容进行处理。
当浏览器向web服务器发送请求时，它向服务器传递了一个数据块，也就是请求信息。Http请求信息由3部分组成：请求方法URI协议/版本，请求头（Request Header）
和请求正文。

如下图：

而客户就可以从请求的信息中得到有用的数据。

 初学者掌握以上术语后，搭配教程进行学习，很快就可以灵活使用火车采集器V9来实现网站的高效抓取。

标签: 火车采集器V9 网站抓取精灵

评论(0) 引用(0) 浏览(2854)

网页抓取工具抓取图片时如何加减水印

作者：dong 发布于：2016-4-22 15:08 Friday 分类：官方公告

网页抓取工具火车采集器V9不仅可以采集网址和文字，还可以对文件和图片进行抓取，并且抓取到的图片还支持进行水印的增加和去除操作。这里增加的水印既可以是文字形式也可以是图片形式，用起来非常方便。但是需要提醒大家的是，去除水印时网页抓取工具采用的是以更大的水印进行遮盖的方法，否则水印的去除操作是相当复杂的。

下面就来了解一下网页抓取工具如何操作水印吧，打开网页抓取工具火车采集器V9，进入其他设置，其中文件图片下载功能中有下载同时水印的功能，点击“+”添加即可操作。

   设置水印：点击“添加”按钮，就会弹出下图的界面，左侧是我们放了一张测试用图片，来看效果的，右侧是水印的相关设置。

   文字水印：如果你只需要给图片添加文字水印，就勾选水印文字栏，点击“特效”按钮，可以设置文字的位置、字体、特效等等，没有用过的朋友可以设置下看看效果。

 
   图片水印：如果你是想要选择一个图片做为水印就按照下面的图做，点击“浏览”按钮后选择本地图片，选择后可以选择水印的位置和图片的透明度，然后试看下效果。

   水印高级选项：可以对需要添加水印的图片进行大小限制，一般较小的图片我们就不建议进行水印设置了，效果不十分明显。

 
   保存选项：网页抓取工具支持对添加水印的图片按照一定的比例设置压缩，根据自己的需求来设置就可以了，图片的保存格式也是可以选择的，充分考虑了不同用户的使用需求。

   如果我们在抓取数据的过程中下载了大量的图片，那下载完再依次进行水印的相关操作就太繁琐了，而网页抓取工具火车采集器V9提供的这项功能的确非常方便，能够帮助我们在下载图片的同时自动添加或覆盖原先的水印。省时省力，提高网页抓取效率。

标签: 火车采集器 网页抓取工具

评论(0) 引用(0) 浏览(3538)

抓取网页数据工具如何单独进行发布操作

作者：dong 发布于：2016-4-20 13:14 Wednesday 分类：官方公告

抓取网页数据工具火车采集器V9是市场中功能最全面的采集软件，具备数据采集、处理和发布功能，能够轻松应对网站更新维护、内容群发等需求。采集完发布大家一定都会操作了，但是如果你已经有了一批数据，不需要再进行采集，只需要发布该怎么通过火车采集器来实现呢？

  其实这个需求也是很容易实现的，大家可以按照以下步骤来进行：

1、首先是新建一个任务，这步操作会产生一个任务数据库，然后将自己已有的数据导入到这个数据库中。当然，这个任务你需要设置发布步骤，否则无法实现发布。

2、在任务数据库中，将已采设置为true或1，mysql，sqlserver是1。

3、开始运行任务，在火车采集器最新版V9里面不需要勾选采集，在其他版本中不需要勾选采网址和采内容，只勾选发内容即可。

  有的用户反映说，抓取网页数据工具火车采集器会重复发布文章，也就是说发布到网站后，下一次运行时又接着发布，导致网站上内容重复。对于这个问题，我们需要从以下两点着手考虑：

1、采集器是否采集了多篇一样的文章内容? 可以通过，右击规则——本地编辑数据来查看采集的数据。

2、采集器发布的时候，是否提示了发布成功？  如果您发布的时候提示的是 “发布未知” 或者“发布失败”  ，而实际上您的内容确实是已经成功发布到您的网站了。那么这个状态下，采集器不会把内容标记为已发状态，下次发布的时候，还是会作为新内容去发布的。所以才会出现部分用户看到的重复发布的问题。

  针对上面的问题，解决方案如下：

1、如果是发布的内容有的显示成功，有的显示未知，那么考虑调整下发布时间间隔，间隔设置长一些，然后再运行发布试试，关于如何设置线程可参考官网教程。

2、如果上面方法仍然解决不了问题，那么可以考虑强制解决办法，在文件保存及部分高级设置的右下角发布结束后，勾选标记所有记录为已发，这样每次发布无论发布结果如何提示，都会把这条记录标识为已经发布。

  抓取网页数据工具火车采集器V9对于采集、处理、发布均能进行高效的操作，学会灵活运用能够为我们的日常工作和学习带来极大的便利。

 

标签: 火车采集器V9 抓取网页数据工具

评论(0) 引用(0) 浏览(2824)

网页抓取工具助力大数据基础建设

作者：dong 发布于：2016-4-13 14:29 Wednesday 分类：官方公告

​几年前大数据带着一层神秘面纱走进了人们的视野，在“大数据”一词被炒至顶峰的一段时间里，人们甚至言必谈及大数据。如今大数据发展可谓是越来越接地气，各行各业开展相关应用的可行性较之以前高了很多。但是发展大数据的过程中，若想将其变成一种基本能力，基础数据建设仍是不可忽视的环节，一款可以轻松抓取和解析全球网页数据的网页抓取工具，就更加必不可少了。

网页抓取工具是什么？我们日常所需的大数据多来自公开的互联网和其他录入型设备，对其中体量最为庞大的互联网来说，网页抓取工具就是用来提取互联网中的数据。

基于互联网数据海量的特性，网页抓取工具必须满足的条件之一就是高效。所以市场中最高效的网页抓取工具火车采集器V9采用的就是源代码提取的方式，这种提取方式不需要将数据经过浏览器的解析，而是直接抽取web结构。除此之外，火车采集器V9对整个数据提取流程做了最简化梳理，使得其在提取速度提升的基础上操作也能更加高效。

网页抓取工具是否免费？最令大数据需求群体关注的问题除效率和易用性之外，就是工具是否免费使用。网页抓取工具火车采集器V9免费版，目前已经积累了40多万用户，每天响应客户端都在一万以上，这也从侧面说明了火车采集器软件和服务器的稳定性。

网页抓取工具还有其他用途吗？区别于一些小众的采集工具，火车采集器V9不仅仅提供强大的数据抓取功能，还有强大的数据处理和发布功能，这些特色用途的操作都十分简单易用，可以根据教程的指导快速上手，帮助我们在技术知识相对薄弱的情况下，也能轻松高效地处理数据和发布数据。而无需再煞费苦心地研究代码或是寻求其他的技术支持了，所以选择一款好用的网页抓取工具是十分必要的。

学会了网页抓取工具，大数据的基础数据建设今后可以在其协作下变得轻松、高效。为能更好地适应大数据生态系统的发展需求，我们必须紧跟时代潮流的脚步，及时拓展和发散思维，不墨守成规，用超前的视角去发掘，用坚定的信念去执行。

标签: 火车采集器 网页抓取工具 大数据

评论(0) 引用(0) 浏览(2815)