火车采集器官方博客

文章采集器如何将采集数据导入数据库

作者：dong 发布于：2016-6-16 14:14 Thursday 分类：官方公告

我们在使用火车采集器采集文章时，有时会将数据在线发布到网站栏目，有时则是导入自己的数据库或是保存为本地文件，这里以火车采集器V9的数据导入为例讲解数据库发布配置如何制作。

文章采集器火车采集器V9支持MySql、SqlServer、Oracle、Access类型数据库的发布，以mysql数据库导入为例，我们打开开始菜单——数据库发布配置，如图：

①打开数据库发布配置
②对发布入库模块可进行“编辑，新建，删除，导入，导出”的操作
③入库模块
④数据库链接信息配置
⑤数据库发布配置列表

我们先新建一个发布入库模块，选择数据库类型，写好入库语句，如图：

1.若是单表或多表无关联，则直接写INSERT语句即可；
2.若是多表，且存在某字段相互关联，则用[文章编号:表名XXX]来关联上一个表的自增ID；
3.自增ID字段和值需要删除，不需要写入SQL语句内。入库模块完成后，保存即可。然后在数据库发布管理界面设置好链接信息，测试链接数据库，成功后。

即可保存配置，测试发布。如下图（填写自定义值，点击测试）：

内容发布规则——导入到数据库 对应勾选就完成了导入到数据库的设置了。

    这样文章采集器火车采集器V9的数据导入就完成了，发布到其他类型的数据库也是类似的，如果在线发布则需要编辑发布模块，具体的操作可以看官网介绍。

标签: 火车采集器 文章采集器

评论(1) 引用(0) 浏览(17592)

企业征信：大数据拼图玩出新花样

作者：dong 发布于：2016-6-15 15:36 Wednesday 分类：官方公告

传统经济转型阶段，大数据与许多产业的结合都是借助数据完成资源的配置优化或是突显新的发展方向，而大数据与企业征信的结合则完全不同，这一次玩的是大数据拼图。

何为大数据​拼图？即借助大数据技术和资源来拼凑完整信息的新业务模式，不需要去深度挖掘数据中隐匿的价值和传达的讯息，需要的只是能够匹配拼接的零散数据。

自2014年推出企业征信备案制度以来，从事企业征信​业务的独立企业似雨后春笋般涌现，但无论各方的细分领域是什么，拥有数据资本都是关键。过去信息共享难，信息匮乏度高，所以现在大家都清楚做企业征信不能再用老套路，随着行业环境和信用体系的不断完善，以及迅速崛起的大数据，给了企业征信全新的发展机遇。                                                                                                                     

征信讲究“痕迹”，追求客观，新式企业征信就从痕迹着手，用大数据拼图的方式将企业所有关联痕迹整合起来，逐步呈现出一张完整的企业信息图。以企业信息查询平台企多维规划的拼图为例，需覆盖工商信息数据、风险数据、知识产权数据、对外投资数据、还有新媒体、产品、资质等几十余数据版块，随着信息维度的扩充，企业信息表会愈发完整，征信情况也愈发清晰透明。我们看待这幅拼图如同看企业画像一样，可以一目了然的掌握企业所有细节。

对于每一个版块的数据来源，企多维则表示需联通各个合作渠道，打通信息孤岛，同时要增强大数据整合能力，以获得及时准确的数据资源。渠道和技术是数据竞争的关键，也是大数据征信的准入门槛，企多维完全区别与以往简单的信息录入，而是基于海量数据的分析计算，这种全量、多维的信息能为用户带来更好的查询体验。

纵观市场经济形式，企业征信需求越来越大，依托大数据整合技术的征信服务规模也在逐步扩增，大数据企业征信未来能够发挥的巨大效力可以预见，期待各行各业都能重视起自身征信建设，同时也充分利用现有资源保障业务在对方企业良好征信的基础上顺利开展。

标签: 企多维 企业征信

评论(0) 引用(0) 浏览(3629)

企多维——未知即风险，尽职调查要一步到位

作者：dong 发布于：2016-6-14 17:04 Tuesday 分类：官方公告

    在处理法律纠纷或金融往来的过程中，开展尽职调查工作是为了核实企业的详细信息，包括企业工商信息、经营情况、人员信息、资金状况等，在真实信息的基础上律师和投资人方能得出最有效可靠的结论，从而帮助决策。

值得一提的是，企业信息是一个多维立体化的数据资料，所涉及的信息面多达几十个，而任何维度的未知都可能是潜在的风险，因此以降低风险为目的的尽职调查要一步到位，尽可能多地覆盖信息维度。那么是否必须逐个去操作查询呢？作为律师和风投人士的必备工具，企多维​是这样规划信息查询的：

 

1、重视机构发布，忽视企业披露

企业在自有的媒体或其他渠道中所披露的信息可信度往往有待考究，因此企多维在信息收录的过程中选择摈弃企业自身包装的数据，来源均采用机构发布的数据，如全国企业信用信息公示系统，中国裁判文书网、国家知识产权局等权威的政务官网，从而保障数据的真实性。

2、多维覆盖，一步到位

为了方便调查工作的高效进行，企多维选择最大化覆盖信息维度，即从工商登记信息到股东信息、风险信息、备案域名、知识产权（著作、商标、专利）、对外投资、新媒体等各领域数据的全面整合，面对复杂的企业信息，可一站直查，层层剖析。同时企多维的信息仍在不断扩充中，未来还将涉及产品、新闻、资质证书、财务指标、关键人员、拍卖执行、股权交易等更多企业相关的数据，持续发力多维优势。

3、与时俱进，每日更新

企业信息是瞬息变化的，陈旧的信息没有利用价值，及时更新数据才能保障信息的参考性，所以数据需要每日更新，这是企多维借助大数据技术所带来的全新突破，以往信息更新的过程十分缓慢，获取信息的时候已经不具备参考价值，直接影响着最终决策。

未知即风险，企多维致力于打破信息孤岛，避免这种由企业信息未知导致的法律和合作风险，杜绝企业的弄虚作假行为，并以此约束企业走向重信守信的良性发展道路。

标签: 企多维

评论(0) 引用(0) 浏览(3674)

网页抓取工具：细说未来核心资产

作者：dong 发布于：2016-6-13 15:48 Monday 分类：官方公告

   提及未来核心资产，知识与金钱仍会占据不可撼动的地位，而被世界著名未来学家托夫勒称为可以改变世界的大数据，也当之无愧地跻身未来核心资产之列。我们都知道大数据本身并非价值连城，而是通过帮助人们进行资源优化配置，从而创造出巨大价值。

   如此看来它和知识的作用是基本相似的，都是在无形中发挥着作用。人们内心始终坚定着知识创造财富的观念，所以十分注重知识的学习和日常累积，那么未来新晋资产大数据呢？它该从何而来，又如何获得大量积累？这得从网页抓取工具说起。

   网页抓取工具​通常被用来完成互联网数据的采集和整合，因为当前互联网是数据的最大载体，比如最通用的网页抓取工具火车采集器软件，就是通过编辑规则将互联网中的数据资源层层挖掘出来，并对其进行处理，再整合入库。如果我们把大数据比喻为金矿，那么网页抓取工具火车采集器就相当于开采车，日复一日地开掘并积累资源。

   大数据与知识的另一个相似之处就是与时俱进，不断扩充，而不是停留在某个阶段就能拥有永恒的利用价值，所以我们注重整合，注重更新。但与知识不同的是，大数据是一个巨量资料，只有具备了一定的量之后才有价值可言，因此我们无需像遍历知识点一样去关注数据的小细节，这也使得数据的海量积累变得更加容易。

   以全面和高效为目标的积累过程可以借助火车采集器完全工具化，首先其全网通用的特性可以保障数据的灵活采集，无论任何页面都没有抓取障碍；其次自动定时运行功能可对数据进行频度设置，从而实现智能更新；强大的处理体系则让数据更加标准统一，符合使用要求。  

   数据无时无刻不在增长，大数据正是基于这种全量的洞察从而实现商业智能、服务优化、教育创新、医疗升级……我们必须像积累知识一样，去扩充手中的大数据资产，并在时代机遇中找寻信息资产变现的方式。

标签: 网页抓取工具 火车采集器软件 大数据

评论(0) 引用(0) 浏览(11228)

网页抓取工具实现图、文、链接全采集

作者：dong 发布于：2016-6-6 17:27 Monday 分类：官方公告

如果说互联网像浩瀚大海，那么网页抓取工具就是海底探测器，定位宝藏的准确位置并实现智能捞取。之所以这么比喻是因为互联网容量巨大且瞬息万变，作为信息收集领域的人士，每当看到一类优秀的内容时，想要全面地进行采集却如同大海捞针，耗时耗力。因此,提供一个网页抓取工具用来自动在互联网上抓取数据，并智能分拣和分析，则有着非常重要的意义。

互联网中的数据，有着各种各样的格式，笼统地来说包括图片、文件、文本等主要类别。我们使用网页抓取工具来抓取时，能否实现所有网页、各种格式的通抓呢？目前使用人数最多的网页抓取工具火车采集器V9给予了肯定。

       通常使用火车采集器抓取文本和图片最多的是网站站长和APP后台管理员，他们往往需要对符合自身定位的数据进行整合汇总，再找出符合的数据及时呈现给用户。像是新闻类，图文赏析类，都需要对互联网中的图文数据进行筛选，网页抓取工具火车采集器V9的抓取原理是先获取网址再对网址对应的页面进行源代码解析，提取速度快且错误率低，而且可以定时运行，自动更新数据。

不得不提的是，针对此类需求的用户，火车采集器V9还提供数据处理和发布功能，即不仅实现抓取，还可以对数据进行简单的脱敏，排重过滤等处理，最后自动发布到目标数据库，完全智能化的连贯操作备受用户青睐。

而学者们最爱抓取的格式则是文件，因为互联网中公开分享着大量文献资料，且许多资料都是文档、压缩文件的格式，学者们一个个地去下载不仅浪费了科研的宝贵时间，而且导致了工作效率的下降。如果可以模拟人的操作去打开网页，下载并保存文件则会事半功倍，火车采集器V9正是基于用户们的这种需求，开发了文件探测下载的功能，而且支持自动登录，一解部分内容需登录才可见的难题。

自动化工具是解放人类双手的最佳利器，所以有关舆情监控、企业营销、视频链接等需要分拣数据的业务领域也都在网页抓取工具的帮助下变得更加便捷。有了网页抓取工具火车采集器V9软件，图片、文字、文件、链接等各种数据类型的全网采集都可以轻松实现。

标签: 网页抓取工具 火车采集器V9

评论(0) 引用(0) 浏览(3696)