火车采集器 - 火车采集器官方博客

【火车OEM服务】做您数据采集的“私人定制”！

作者：dong 发布于：2018-4-26 10:23 Thursday

网络数据采集我们掌握核心技术

火车采集器，12年一路驰骋，历经市场考验，是国内最早一款网络数据采集器，所属合肥乐维技术有限公司，不仅拥有自主知识产权，更是《中国大数据排行榜》榜上知名企业。

火车采集器，拥有海内外30多万名用户，其中包含上万家企事业单位用户。

公司在数据采集方面与众多知名企业都曾展开过合作。合作单位如下图所示（包括但不限于）：

在科研方面，众多学术论文科学研究，采集数据方面指定使用火车采集器：

正是因为火车采集器掌握住核心技术，才成为众多专家学者心目中的网络数据采集工具首选。

历经十二年不断研发推新，终成行业中的优秀领航者。

火车采集器不仅参与过众多科研项目的研究数据采集，与众多高校，企事业单位也都曾展开过合作，部分高校更为其专门开设相关讲座、课程，向学子们讲解火车采集器的应用方法。

以下是相关案例：

华东理工大学的李栋教授正在讲解火车采集器的使用，所使用的数据采集工具正是我们的火车采集器；

私人定制，解决合作商后顾之忧

系统集成

单独开发一套采集系统，成本是巨大的，在很多招投标项目中，更是如此。

火车采集器提供完善的技术指标，白皮书，使用手册等，助力企业入围。

自营渠道

CMS经销商，网站开发公司，本身具有很多客户，而数据采集，是很多时间必须面对的一个问题。

使用OEM服务，马上解决问题并有了自己的品牌产品。

这个业务我们是已经开展好多年了，已经为几百家企业解决了采集难题。

需要的朋友可以点击阅读原文，在官网直接在线咨询我们的客服MM

标签: 火车采集器

评论(0) 引用(0) 浏览(2821)

听说你的老板让你学会抓数据？

作者：dong 发布于：2016-7-13 14:14 Wednesday 分类：官方公告

看到有朋友给我们留言说，老板看我电脑玩的溜，就要求我半天学会火车采集器，不懂技术怎么入手？先别懵圈，毕竟叫你学采集器可比看你电脑玩的溜就让你负责维修电脑强多啦。

先说说你的老板为啥叫你学抓数据。大致就是以下三种可能：第一、对工作效率的提升需求促使人工操作转向工具智能，你的老板开始尝试更高效的渠道了。第二、没有数据支撑的业务似乎很难有新的突破，因此要全面收集数据谋发展。第三、各家公司都在整合大数据，再不试试就显的落伍了。

好吧，那接下来咱们就探索下，如何在半天时间内，完成老板的交代，把火车采集器也玩儿溜（带数字标注的蓝字，需要点进去学习哦~）。

火车采集器是一款网页抓取工具，即抓取网页中的网址、文字、图片等数据。那既然是工具就一定有它的工作原理，也有其专业术语，所以了解原理和术语①是基础，否则直接拿出来用肯定是觉得繁乱难。

原理：火车采集器的运行依赖源代码，就像音乐家需要五线谱，工程师需要图纸一样。它并不能一眼识别哪里是标题、哪里是正文，只能通过代码语言来识别和提取数据。比如<h1> 与 </h1> 之间的文本被显示为标题，<p> 与 </p> 之间的文本被显示为段落。（所以需要多学习源码②知识，了解所需数据的源码结构。）

了解原理和术语之后，我们不妨通过一个简单的例子③来完整的学习采集器的操作步骤。有了基本的操作了解，就可以下载采集器免费版参照着示例来练习几次，可以从最简单的文章采集着手，当我们已经掌握基础的抓取数据后，我们应该把数据如何保存呢？火车采集器可以将数据在线发布④到你的网站里，也可以保存发布在数据库⑤或本地文件⑥。

到这里，你已经掌握了采集简单网页的基本操作，而复杂网页则需要更多处理，比如登录、封IP、Ajax页面等，都可以通过帮助手册⑦来逐步规划学习，原理懂了，复杂的采集也能逐一攻克。在采集器官网中还有丰富的文字和视频教程，一定能帮你快速上手。如果需要商业版本的功能，则可以选择一个适合的版本，如何选择请看版本攻略⑧，或咨询官方客服。

呐，即使是技术小白，半天学会采集器的基本操作也是足够了的，有计算机基础的就更快啦，学会用火车采集器抓数据，你可就是公司的技术型人才，离升职加薪就不远咯~~

标签: 火车采集器

评论(0) 引用(0) 浏览(7177)

文章采集器抓取列表分页示例

作者：dong 发布于：2016-6-23 14:38 Thursday 分类：官方公告

在使用文章采集器采集文章的过程中，我们经常需要对分页进行抓取，比如列表分页或内容分页，这里我们就以列表分页为例，为大家讲解一下火车采集器是如何操作分页的。

对于设置列表分页，通过下图的起始网址——批量网址来设置是最常见也是最常用的。

火车采集器1.png

现在我们用另外一种获取分页的办法，即通过列表上下页无限分页采集获取功能来自动获取分页。使用这个功能，起始页就只需要把首页地址添加进去就可以了，如下图：

火车采集器2.png

然后进入[高级模式]——分页设置，设置区域开始字符串、区域结束字符串、地址样式、分页地址等字段。

火车采集器3.png

我们以http://news.qq.com/newsgn/zhxw/shizhengxinwen.htm 为例，先查看下第一页分页源代码的情况，如下图：

火车采集器4.png 继续查看下第二页分页源代码的情况如下：

火车采集器5.png 分析得出：当前页都是在<div>后的<strong></strong>这个代码后面紧接着一个<a href="">就是下一页地址。也就是说我们是要通过当前页获取下一页，这样一级一级的向下获取，直至把所有分页获取到。所以，区域开始字符串为：<div>(*)</strong> 区域结束字符串为：</a>(*)</div>

火车采集器6.png

地址样式根据截取区域的格式来写：<a href="[参数]">，效果如下：

火车采集器7.png

另外上图 “4” 是表示获取4页的意思，默认为“0”表示不限，将采集所有分页。这样就可以用火车采集器获取到我们需要的上下页列表分页了，用火车采集器抓取内容页上下页模式也是可以参考这种操作的，更多使用教程可以访问官网进行学习。

标签: 火车采集器文章采集器

评论(0) 引用(0) 浏览(7833)

文章采集器如何将采集数据导入数据库

作者：dong 发布于：2016-6-16 14:14 Thursday 分类：官方公告

我们在使用火车采集器采集文章时，有时会将数据在线发布到网站栏目，有时则是导入自己的数据库或是保存为本地文件，这里以火车采集器V9的数据导入为例讲解数据库发布配置如何制作。

文章采集器火车采集器V9支持MySql、SqlServer、Oracle、Access类型数据库的发布，以mysql数据库导入为例，我们打开开始菜单——数据库发布配置，如图：

①打开数据库发布配置
②对发布入库模块可进行“编辑，新建，删除，导入，导出”的操作
③入库模块
④数据库链接信息配置
⑤数据库发布配置列表

火车采集器1.png

我们先新建一个发布入库模块，选择数据库类型，写好入库语句，如图：

火车采集器2.png

1.若是单表或多表无关联，则直接写INSERT语句即可；
2.若是多表，且存在某字段相互关联，则用[文章编号:表名XXX]来关联上一个表的自增ID；
3.自增ID字段和值需要删除，不需要写入SQL语句内。入库模块完成后，保存即可。然后在数据库发布管理界面设置好链接信息，测试链接数据库，成功后。

即可保存配置，测试发布。如下图（填写自定义值，点击测试）：

火车采集器3.png

内容发布规则——导入到数据库对应勾选就完成了导入到数据库的设置了。

火车采集器4.png

这样文章采集器火车采集器V9的数据导入就完成了，发布到其他类型的数据库也是类似的，如果在线发布则需要编辑发布模块，具体的操作可以看官网介绍。

标签: 火车采集器文章采集器

评论(1) 引用(0) 浏览(17589)

网页抓取工具：小数据要累积成大数据

作者：dong 发布于：2016-5-31 18:14 Tuesday 分类：官方公告

我知道现在有很多企业都在对大数据侃侃而谈，但正如我们看到的一样，他们也仅仅是谈论而已，拼命地想要靠近“大数据”，结果触到的都是幻影。说要搞大数据，其实连小数据都还没有。这让我想起了中国60年代的大跃进，企业竞争是没错，对外吹一吹，私下里也要探究是否切实可行。

大数据确实没那么简单，但如果能从小数据做起，或许也没有想象得那么难。在信息化的快速发展下，企业大多还是可以整合出一些小数据的，借助网页抓取工具火车采集器的自动化实施，小数据的获取难度降低了，至于小数据应该小到哪些方面则是企业需要一层层剖析和着重考虑的问题。

比如零售业，没有任何数据基础就想要获得一套精准定价、精准营销、精准服务的大数据管理体系，无异于痴人说梦。那数据基础从何而来呢？伴随互联网快速发展而崛起的公开网销平台就是重要的数据来源，对手的产品、定价、服务、评论等所有内容都是可以通过火车采集器快速抓取到的。在累积了市场需求和对手信息等全面的小数据之后，才能充分整合分析出企业适用的大数据业务体系。

再比如说保险行业，市场洞察可以来自对新浪、贴吧等社交网站中保险话题的偏好抓取；避免骗保发生可以综合抓取骗保案件的法院裁决书并匹配应对模型；利用保单和出险数据更加科学地设定各种费率。网页抓取工具火车采集器帮助保险行业整合小数据从而建立大数据基础，有助于推出更精准的产品，进行更精准地目标群推送。

火车采集器.jpg