火车采集器官方博客

网页抓取工具带你走进大数据营销

作者：dong 发布于：2016-4-27 15:23 Wednesday 分类：官方公告

“大数据”这股强劲的风浪让多少个行业站上风口就瞬间起飞，至于能飞多久能飞多高则取决于风口这头“猪”的潜质，那么大数据营销作为大数据领域最具潜质的发展方向之一就不得不提了。无论是房产、零售还是电商等其他众多行业做新式营销似乎都必须涉及大数据，如今大数据营销的方向可谓是越来越接地气，但是你的大数据营销如何落地是否也更加接地气了呢？

网页抓取工具火车采集器V9，一款可以轻松抓取、解析和处理全球网页数据的软件，让大数据营销快速成为你的基本能力。

那么什么是网页抓取工具呢？先从网页大数据说起，我们做营销时所需的大数据多来自公开的互联网和其他录入型设备，比如客户画像，是基于客户网络行为和公开资料的整合，如果据此得出某款青春系汽车的受众是30岁左右的女白领，那么就可以对其进行广告的精准推送了。而网页抓取工具火车采集器V9就是可以用来提取互联网中的那些行为记录和公开资料的软件。

火车采集器在提取数据时支持文字、图片、及其他文件类型的信息，所以互联网中我们能够看到的内容几乎都可以进行抓取，举个电商的例子吧，某宝中热卖的一款商品，我们能够使用火车采集器抓取到的内容有：宝贝名称、价格、图片、宝贝详情、销量、买家评价、买家星级、卖家评分等；在全部销售店家数据的基础上，我们可以进行分析对比，得出宝贝名称中出现什么关键词会有助优化搜索，价格幅度如何设置能够得到最佳销量，该商品的买家评价如何，受众是何类消费能力的群体……

上面的例子仅为网页抓取工具火车采集器的一类应用，火车采集器V9全网通用的特性，决定了其能够应对社交、金融、媒体等方方面面。除了抓取数据之外，独特的网页抓取工具火车采集器V9还提供强大的数据处理和发布功能，这些特色用途的操作都能够在用户的学习尝试下快速上手，帮助我们在技术知识相对薄弱的情况下，也能轻松高效地掌握大数据营销新技能，真正让大数据营销全民化。

掌握了网页抓取工具火车采集器，大数据营销今后就可以在其协作下变得轻松、高效。为顺应大数据整体生态系统的发展需求，我们必须找到区别与以往的重大突破点，这可能是一项技术，一种思维，一类方法，或者仅仅是一个好用的网页抓取工具。

标签: 火车采集器网页抓取工具大数据

评论(0) 引用(0) 浏览(3172)

网络爬虫火车浏览器特色功能之生成exe程序

作者：dong 发布于：2016-4-26 14:50 Tuesday 分类：官方公告

火车浏览器软件不仅可以用来做脚本和项目管理，从而实现采集等web操作需求，还有一些与众不同的功能，其中之一就是可以让用户自助生成exe程序，用户生成的程序是可以自行销售给他人使用的。下面一起学习一下如何打包生

成exe程序.

打开火车浏览器软件的脚本编辑器，在工具菜単下有一个exe打包生成器，该工具可以将我们的脚本和浏览器进行打包，以单独的新产品面貌展现给用户，方便我们自已开发好脚本块卖给客户，也可以方便自己多台电脑布置采集任务。

如图，新建一个项目,我们可以设置新生成的软件名称、软件图标、还有关于生成者的介绍。这样生成的程序和一般我们使用的程序在功能上几乎没有什么区别。打包的软件名称要求是中文，版本号可以根据生成者的意愿填写1.0、1.2、2.3这样的数字。

那么打包的exe是何种授权方式呢？免费版的可以任意使用,试用版的最

多使用30天，授权版的是使用机器码，可以设置使用的时间长度。其中，软件识別码是从官方授权管理系统得到的，可以实现自动升级，免费版的软件识别码是固定的32个“0”。

生成设置可以选择不同的模板，简单任务不需要传入任何变量, 批量査询模板为选择一个文本文件, 文本文件中每一行都是一个“关键词”变量。然后用文本中的“关键词”変量替换脚本中的変量,进行批量的査询:群发文章模板为选择一个文件夹，文件夹中的所有txt文本都做为-个文章来发布。文章是文件名，文章内容是文件内容。可以选择发完就删除文本，也可以不删除，脚本中必须要有“标题”和“内容”两个交量。这里我们做批量査询的例子，就选择査询模板，将査询的关键词放在文本文件中，然后脚本中创建一个关键词変量，在生成的exe中就可以直接号入关键词文本，进行批量査询。

运行设置根据需要勾选显示内容和设置进程数和运行间隔，关于我们填写一些联系方式和说明文字即可。

附加数据，是生成exe时软件一并打包的文本夹或文件。其实我们自己复制也可以，但这个自动复制还是会比较方便的。那这些设置好以后，我们就可以通过软件的预览功能查看我们软件的样子了。

我们可以在预览那里填写文本查看实际运行的效果，等测试无误了，然后再生成exe，生成完成后，会打开目录。这样一个新的工具软件就出来了。我们做的例子是一个新闻采集的工具，只要更换脚本或是关键词，我们就可以做其他的工具。需要注意的是，脚本程序运行时，文本中运行的值运行一次以后，就会将历史记录保存在history.txt中，下次不会再运行，要再次运行，可以删除或是编辑history.txt文件。

用户在生成exe时只需要负责脚本和服务就可以了，由火车浏览器官方提供注册服务和自动升级。正如大家看到的，用户不仅可以使用火车浏览器实现自己的一系列web操作需求，更能自己做开发，获得盈利，甚至可以利用火车浏览器来做营销。因此火车浏览器不止是一款网络爬虫工具，更是一款万能的web操作神器，值得大家学习和使用。

标签: 火车浏览器网络爬虫

评论(0) 引用(0) 浏览(4910)

网站抓取精灵火车采集器V9最全术语解释

作者：dong 发布于：2016-4-25 13:38 Monday 分类：官方公告

网站抓取精灵火车采集器是目前功能最全面的采集软件，使用者只需稍加学习即可快速上手，这里是火车采集器V9 的操作术语解释。

1.采集任务

    采集任务是火车采集器中对于数据采集和数据发布任务的完整配置，包含采集规则和发布模块。

2.采集规则

    即我们对如何采集和采集什么的问题给出一些设置让采集器按照设置的规则来执行，这个设置可以从火车采集器里面导出保存为.ljobx文件，
    也可以再次导入火车采集器。

3.发布模块

在火车采集器中，发布模块是对“将已经采集到的数据发布到哪里”进行的设置。包括WEB在线发布模块和数据库发布模块，其设置分别可以导出保存为.wpm文件和.dbm文件，并可以再次导入火车采集器，多次使用。

4.发布接口

发布接口是一个小型的页面程序，通常和WEB在线发布模块配合使用来满足用户的特定需求。即采集器将采集的数据发送到发布接口文件中，接口文件得到数据，

并按照用户特定需求灵活地处理数据。

5.标签

是指用来提取某项内容信息的一个字段名字，由用户在编辑规则的时候指定，比如标题、手机号、邮件、作者，内容标签采集到的信息在发布模块中就可以通过

该标签名对应获取到，格式为[标签：标签名]如[标签：标题]。标签在火车采集器里面有分为两种：分别为列表页标签和内容页标签，顾名思义列表页标签就是在获取列表页时（即采网址时）就获取到内容信息，内容页标签是在获取内容页或多页内容时（采内容）才获取内容信息。

注：通常还有一种说法为 html标签，这里的标签是指一些html代码里面的属性标识符，如：<a href里面的a标签，里面的font标签为html标签，该术语在内容处理的html标签排除项出现。

6.（*）

    在使用火车采集器时经常会遇到这个符号，它是变量的通用符号，如果我们只需要知道这个变量的变化规律，而不需要关心这个变量到底是什么，这时就可使用这个
    符号代替。

7.[参数]

    用来匹配某项准备提取信息的标记标签，如想要在代码中提取组合出某种格式。以从代码"mClk(this,'108484','134217', '168475','1');"中提取组合出新
    的地址格式为例。"mClk(this,'[参数]','[参数]', '[参数]','1'); ",按照次序，108484参数就是参数1，依次类推。实际需要的地址为以下的地址格式：
    bbs/read.php?id=[参数1]& sort=[参数3]&action=[参数2]，上面代码中的3个参数和下面地址中的id，soft和action参数要对应相应的值，次序不要颠倒。
    这样就组合成了新的地址格式。

8.起始网址

    用来获取下级链接地址的入口网址，可以为一条或多条，可以通过添加起始网址向导添加同格式多条网址或导入文本网址。如果没有定义多级网址的获取方法，
    这些地址即作为内容页网址进行内容采集。

9.多级网址

    依次根据列表里面的多级网址顺序采集分析地址，通过依次采集分析到最后一级得到内容页地址。多级网址的获取可以使用页面自动分析和手动获取的方法采集
    下级网址，在采集的过程中，可以同时采集列表分页及提取列表页附加参数。

10.Cookie

    是在Http请求访问中记录您的用户信息即登录信息的一段用于与服务器进行交互的字符串。在浏览器中使用时通常还会以文本形式记录到您的IE缓存目录中,
    以便下次在有效期内不用输入用户信息即可继续访问验证权限的网页。

11.User-Agent

    浏览器标识，是用来向服务器通知您使用的客户端类型，在某些需要登录的网页可能需要同时验证Cookie和User-Agent，所以需要您将其设置为与本机浏览器
    同样的格式。

12.分页

    列表或内容页面较长，分成多个页面显示，采集时需要将所有子页的内容组合起来，这样的子页面就是分页（列表分页或内容分页）。

13.多页

有些情况下，需要采集一个页面对应的网址，图片等内容时，需要另外打开一个新的页面才能采集到这些信息，这些另外打开的页面则称为多页。

14.网页编码

是在网页中指定其特定字符编码格式的库，例如一般在网页中都要有如下一句：<meta http-equiv="Content-Type"content="text/html;charset=gb2312">，

这样的字句指示此网页的字符集编码是GB2312。火车采集器对一般的网页可以做到自动识别，也罗列出了大部分的网页编码格式,可以直接在采集器中手动选择指定

相应的编码格式。

15.代理

    是指网络中的代理服务器，可以代理网络用户去取得所需要的网络信息。代理的功能有可以突破自身ip的访问限制访问国外站点，访问一些单位或团体内部资源，
    突破电信的ip封锁和隐藏真实的ip等。

16.插件

    在火车采集器，插件是指可以对采集到的数据进行特定处理的一个外部程序，编写好插件后，采集器可以把数据传递给插件，然后对数据进行处理，
    再把数据传给采集器。（可自行开发，也可联系客服定制。）

17.Cron表达式

    在火车采集器计划任务管理器的设置中，可以设置完整的cron表达式来表示对任务的计划执行。它是一个由6或7个子表达式组成的字符串。每一个表达
    式代表一个域，每个域描述了一个单独的日程细节且每个域之间使用空格分隔，它由两种格式组成。

Seconds Minutes Hours DayofMonth Month DayofWeek Year
Seconds Minutes Hours DayofMonth Month DayofWeek
一个Cron表达式至少有6或7个有空格分隔的时间元素，每个时间元素都使用数字，但还可以出现如下特殊字符，他们的含义分别表示：
1.Seconds 秒 (允许值为0-59，允许的特殊符号，- * /)
2.Minutes 分钟 (允许值为0-59，允许的特殊符号，- * /)
3.Hours 小时 (允许值为0-23，允许的特殊符号，- * /)
4.Day-of-Month 月中的天 (允许值为1-31，允许的特殊符号，- * / ? L W C)
5.Month 月 (允许值为1-12或者JAN-DEC，允许的特殊符号，- * /)
6.Day-of-Week 周中的天 (允许值为1-7或者SUN-SAT，允许的特殊符号，- * / ? L C #)
7.Year (optional field) 年（可选的域，允许值为留空或者1970-2099，允许的特殊符号，- * /）
特殊字符含义：
(1) * 表示该域的任意值。如在Minutes域使用，即表示每分钟都会触发事件。
(2) ? 只能用在DayofMonth和DayofWeek两个域。实际上不会匹配域的任意值，因为DayofMonth和DayofWeek会相互影响。如想在每月的20日触发调度，

不管20日是周几，则只能使用如下写法：13 13 15 20 * ?，其中最后一位只能用?，而不能用，如果使用*表示每月的20号15时13分13秒不管是周几都会触发，实际上不是的。
(3) – 表示范围，如在Minutes域中使用5-20，表示5到20分钟每分钟触发一次
(4) / 表示起始时间开始触发，然后每隔固定时间触发一次。如在Minutes域中使用5/20，表示从分钟数5开始每隔20分钟触发一次，结果25,45,05等分别触发一次。
(5) ，表示列出枚举值。如在Minutes域中使用5,20，则表示5分钟和20分钟每分钟触发一次。
(6) L 表示最后，只能出现在DayofMonth和DayofWeek域。
(7) W 表示有效工作日（周一到周五），只能出现在DayofMonth域中，系统将在离指定日期最近的有效工作日触发事件。另外，W的最近寻找不会跨过月份。
(8) # 用于确定每个月第几个星期几，只能出现在DayofMonth域中。如4#2表示某月的第二个星期四。
完整的corn表达式如0 15 08 ? * MON-FRI 表示每周一到周五的早上8点15分开始定时更新数据。

18.任务网址库

    采集器在文件夹DataLocoySpiderPageUrl下，该站点下的每一个任务都会生成一个独立或公用的网址库用来对比网址重复之用。

19.HTTP请求

浏览器打开网页时实际就是发送一个又一个Http请求，火车采集器也一样，从指定的地址获取内容的过程就是发送Http请求，然后对根据请求得到的内容进行处理。
当浏览器向web服务器发送请求时，它向服务器传递了一个数据块，也就是请求信息。Http请求信息由3部分组成：请求方法URI协议/版本，请求头（Request Header）
和请求正文。

如下图：

而客户就可以从请求的信息中得到有用的数据。

初学者掌握以上术语后，搭配教程进行学习，很快就可以灵活使用火车采集器V9来实现网站的高效抓取。

标签: 火车采集器V9 网站抓取精灵

评论(0) 引用(0) 浏览(3176)

网页抓取工具抓取图片时如何加减水印

作者：dong 发布于：2016-4-22 15:08 Friday 分类：官方公告

网页抓取工具火车采集器V9不仅可以采集网址和文字，还可以对文件和图片进行抓取，并且抓取到的图片还支持进行水印的增加和去除操作。这里增加的水印既可以是文字形式也可以是图片形式，用起来非常方便。但是需要提醒大家的是，去除水印时网页抓取工具采用的是以更大的水印进行遮盖的方法，否则水印的去除操作是相当复杂的。

下面就来了解一下网页抓取工具如何操作水印吧，打开网页抓取工具火车采集器V9，进入其他设置，其中文件图片下载功能中有下载同时水印的功能，点击“+”添加即可操作。