火车采集器官方博客

文章采集器抓取列表分页示例

作者：dong 发布于：2016-6-23 14:38 Thursday 分类：官方公告

在使用文章采集器采集文章的过程中，我们经常需要对分页进行抓取，比如列表分页或内容分页，这里我们就以列表分页为例，为大家讲解一下火车采集器是如何操作分页的。

对于设置列表分页，通过下图的起始网址——批量网址来设置是最常见也是最常用的。

    现在我们用另外一种获取分页的办法，即通过列表上下页无限分页采集获取功能来自动获取分页。使用这个功能，起始页就只需要把首页地址添加进去就可以了，如下图：

    然后进入[高级模式]——分页设置，设置区域开始字符串、区域结束字符串、地址样式、分页地址等字段。

我们以http://news.qq.com/newsgn/zhxw/shizhengxinwen.htm 为例，先查看下第一页分页源代码的情况，如下图：

 继续查看下第二页分页源代码的情况如下：

 分析得出：当前页都是在<div>后的<strong></strong>这个代码后面紧接着一个<a href="">就是下一页地址。 也就是说我们是要通过当前页获取下一页，这样一级一级的向下获取，直至把所有分页获取到。 所以，区域开始字符串为：<div>(*)</strong> 区域结束字符串为：</a>(*)</div>

地址样式根据截取区域的格式来写：<a href="[参数]">，效果如下：

    另外上图 “4” 是表示获取4页的意思，默认为“0”表示不限，将采集所有分页。这样就可以用火车采集器获取到我们需要的上下页列表分页了，用火车采集器抓取内容页上下页模式也是可以参考这种操作的，更多使用教程可以访问官网进行学习。

标签: 火车采集器 文章采集器

评论(0) 引用(0) 浏览(7836)

社会信任感缺失，受害的是谁？

作者：dong 发布于：2016-6-20 16:53 Monday 分类：官方公告

关于社会信任感，我想每个人都能感受到这在现下仍旧是极度匮乏的，尽管大多数人每天都在呼吁提升信用，但出于信用考验的行为或制度还是层出不穷，最终受害的往往是那些要通过自身努力被社会肯定的群体，比如学生、求职者、小规模企业等。

 

今年高考期间就发生了一起“监考过度”事件，6月7日上午，安徽池州市石台县高考语文考试中途，因为怀疑一名考生的眼镜有问题，监考老师便没收了该考生的眼镜，经鉴定并无问题，然而鉴定完毕送回时考试已快结束，该学生近视四百多度，考后情绪很受影响。本身监考就是一个对学生不信任的行为，再加上仪器扫描把对学生群体的不信任推向了最高点。该事件最后认定监考老师和学生双方都无过错，但受此影响的高考成绩谁来给个说法？

我们经常看到许多创业团队激情昂扬的投入工作，但最终因为融不到资而失去了大展宏图的机会，一方面是因为项目的合理性，但有时很大因素是初创团队的信用无依据使得投资人放弃投资。这似乎是一个恶性循环，越是成长初期越是缺少信用记录，就越是得不到同等的机会。不过目前对于企业信用的查询已经有了企多维这样的平台，从多个维度进行信用大数据整合，让中小企业的信用也能一站查询，有据可循。借助企多维，法律人士和求职人员也能快速获取到企业的相关信息。

类似信任感缺失的例子还有很多，比如城市自行车往往安置后没过多久就不再对百姓提供；比如有些城市会看到公交车上安装假币识别机器；进行工程投标的企业还需先缴纳大额保证金等。其实这些现象都是个人或企业长久积累的失信行为引发的，过去我们国家的信用体系建设不完善，人们没有看到信用带来的正面作用，因此不注重信用积累，不约束自身行为。但在信用建设快速发展的今天，再不重信守信就会真正尝到苦头。

信用建设最为迫切的是先让失信行为得到公示，而后得到惩戒，这也就是企多维中描述的“风险信息”，让风险被记录，被公示并对外开放查询，成为约束个人或企业的手段。守信者将一路通畅，失信者则举步维艰，在社会监督和惩戒措施下，建立起高度信任感，营造和谐社会氛围。

评论(0) 引用(0) 浏览(3224)

国务院放大招，企业还敢制假、欠薪、诈骗？

作者：dong 发布于：2016-6-17 14:38 Friday 分类：官方公告

6月12日，国务院发布《关于建立完善守信联合激励和失信联合惩戒制度加快推进社会诚信建设的指导意见》，意见指出要加快构建以信用为核心的新型市场监管体制，同时明确提出要依法运用守信激励和失信惩戒手段，维护市场正常秩序。

意见要求健全约束和惩戒失信行为机制，对重点领域和严重失信行为实施联合惩戒，那么重点领域和严重失信行为包括哪些呢？具体如下：

1、严重危害人民群众身体健康和生命安全的行为，包括食品药品、生态环境、工程质量、安全生产、消防安全、强制性产品认证等领域的严重失信行为。

2、严重破坏市场公平竞争秩序和社会正常秩序的行为，包括贿赂、逃税骗税、恶意逃废债务、恶意拖欠货款或服务费、恶意欠薪、非法集资、合同欺诈、传销、无证照经营、制售假冒伪劣产品和故意侵犯知识产权、出借和借用资质投标、围标串标、虚假广告、侵害消费者或证券期货投资者合法权益、严重破坏网络空间传播秩序、聚众扰乱社会秩序等严重失信行为。

3、拒不履行法定义务，严重影响司法机关、行政机关公信力的行为，包括当事人在司法机关、行政机关作出判决或决定后，有履行能力但拒不履行、逃避执行等严重失信行为。

4、拒不履行国防义务，拒绝、逃避兵役，拒绝、拖延民用资源征用或者阻碍对被征用的民用资源进行改造，危害国防利益，破坏国防设施等行为。

依法依规加强对失信行为的行政性约束和惩戒。那么具体的约束和惩戒如何？看下面五大类约束惩戒，面面俱到，彻底治理失信蛀虫！

行政性约束惩戒

1、从严审核行政许可审批项目，从严控制生产许可证发放，限制新增项目审批、核准，限制股票发行上市融资或发行债券，限制在全国股份转让系统挂牌、融资，限制发起设立或参股金融机构以及小额贷款公司、融资担保公司、创业投资公司、互联网融资平台等机构，限制从事互联网信息服务等。

2、严格限制申请财政性资金项目，限制参与有关公共资源交易活动，限制参与基础设施和公用事业特许经营。对严重失信企业及其法定代表人、主要负责人和对失信行为负有直接责任的注册执业人员等实施市场和行业禁入措施。

3、及时撤销严重失信企业及其法定代表人、负责人、高级管理人员和对失信行为负有直接责任的董事、股东等人员的荣誉称号，取消参加评先评优资格。

市场性约束惩戒

1、对严重失信主体，有关部门和机构应以统一社会信用代码为索引，及时公开披露相关信息，便于市场识别失信行为，防范信用风险。

2、督促有关企业和个人履行法定义务，对有履行能力但拒不履行的严重失信主体实施限制出境和限制购买不动产、乘坐飞机、乘坐高等级列车和席次、旅游度假、入住星级以上宾馆及其他高消费行为等措施。

3、支持征信机构采集严重失信行为信息，纳入信用记录和信用报告。引导商业银行、证券期货经营机构、保险公司等金融机构按照风险定价原则，对严重失信主体提高贷款利率和财产保险费率，或者限制向其提供贷款、保荐、承销、保险等服务。

  行业性约束惩戒

1、引导行业协会商会完善行业内部信用信息采集、共享机制，将严重失信行为记入会员信用档案。

2、鼓励行业协会商会与有资质的第三方信用服务机构合作，开展会员企业信用等级评价。

3、支持行业协会商会按照行业标准、行规、行约等，视情节轻重对失信会员实行警告、行业内通报批评、公开谴责、不予接纳、劝退等惩戒措施。

社会性约束惩戒

1、建立完善失信举报制度，鼓励公众举报企业严重失信行为，对举报人信息严格保密。

2、支持有关社会组织依法对污染环境、侵害消费者或公众投资者合法权 益等群体性侵权行为提起公益诉讼。

3、鼓励公正、独立、有条件的社会机构开展失信行为大数据舆情监测，编制发布地区、行业信用分析报告。

　　联合惩戒措施落实到人

1、对企事业单位严重失信行为，在记入企事业单位信用记录的同时，记入其法定代表人、主要负责人和其他负有直接责任人员的个人信用记录。

2、在对失信企事业单位进行联合惩戒的同时，依照法律法规和政策规定对相关责任人员采取相应的联合惩戒措施。

3、通过建立完整的个人信用记录数据库及联合惩戒机制，使失信惩戒措施落实到人。

这次国务院的大招，从行政、市场、行业、社会，继而落实到人，全方位推进信用建设，获得了社会各界的积极响应。

落实诚信建设，基于大数据整合开创的企业信用查询平台企多维为失信行为的市场性约束贡献了力量，全国企业的基本信息和失信行为都将纳入企多维信用记录，并为各行各业提供可供参考的信用报告。企业一旦出现失信风险，将面临的层层约束已可设想，未来发展势必举步维艰。

标签: 企多维 企业信用查询平台

评论(0) 引用(0) 浏览(3232)

企业征信：信用怎能靠保证金维系

作者：dong 发布于：2016-6-17 14:08 Friday 分类：官方公告

我们经常在投标或是其他业务合作中遇到让交保证金的情况，目的是确保我们有合作的强烈意向和能力，简单的说就是确保我们讲诚信。但在6月15日的国务院常务会议上，李克强总理用“啼笑皆非”形容工程建设领域中形形色色的各类保证金，并表示这是以信用名目增加社会信用成本。

“你们看看，居然还有信用保证金、文明施工保证金、磋商保证金等等。我到基层调研最初听到时还以为是段子呢！”总理翻着手中的文件说，“现在看来真有其事，各种保证金名目繁多。有些表面上打着安全、信用的名目，最终反而让社会信用成本变得更高了！”

当天会议部署清理规范工程建设领域保证金，降低企业成本、营造公平竞争环境。有关部门负责人在发言中说，目前工程建设领域保证金不仅收取名目繁多，也存在占用资金数额巨大、返还时间较长等问题。

“企业相互交易如果要收取保证金，那是市场行为，但政府制定相关规定收取保证金，这有悖市场经济原则。”李克强说。

总理进一步阐释道，市场经济实质就是信用经济，然而信用绝不是靠“保证金”来维系的。“两个企业做生意，签了合同还不行，还要交一大笔保证金，这只会让市场主体之间越来越互不信任，交易成本越来越高，甚至还会引发偷工减料等质量问题，产生‘劣币驱逐良币’效应。”

“如果一家工程建筑企业拿到项目后不仅要交各种保证金，还要做好逾期好几年都不返还的准备，而且逾期返还也不贴补利息，里外里算算，这要亏多少钱？”李克强说，“企业是要算账的，它肯定会从建筑成本等其他地方把钱省下来的！”

其实除工程建筑外，还有很多行业都存在这种基于保证金的信用核实，这种资金维系的假信用所导致的弊端已经十分明显，真正的信用核实要靠事实说话，为让企业信用有据可循，企多维平台整合大数据为信用查询做了有力支撑。

基于各种维度的企业大数据，企多维在传统信用查询的基础上健全了信用查询功能系统，比如企业工商注册信息、知识产权信息、法律纠纷风险、企业年报、对外投资等，较之企业交出的大量保证金，更加能够代表企业的实力、信用情况和潜在风险。

取消繁杂的保证金制度，依托专业的信用查询平台企多维，降低企业信用成本，盘活企业资金，推进业务发展，规范交易往来，提高全社会的诚信意识！

标签: 企多维

评论(0) 引用(0) 浏览(3392)

可视化采集软件火车浏览器的循环逻辑

作者：dong 发布于：2016-6-16 16:31 Thursday 分类：官方公告

可视化采集软件火车浏览器在编辑脚本的过程中需要对逻辑进行一系列设定，比如条件判断、循环、跳转、引用等，但对逻辑的操作需要渗透理解，这里就对于循环逻辑的具体操作简单讲解下，介绍自己的经验，希望帮助朋友们解决使用中遇到的问题。

首先我们仔细看一下循环的基本功能：无限循环、点击元素或列表、遍历List变量的列表等。

1.无限循环：即将循环内容步骤进行无限次的循环运行。

2.点击一个固定的元素：循环点击一个固定的xpath,比如翻页时，需要点击'下一页'这个元素时，就可以使用此功能。

3.点击一组固定的元素：选择点击一组固定的元素，并在空白框中写上xpath 后，会循环点击所有符合空白框中xpath 的元素。下面介绍一个简单的示例，示例地址：http://www.rrdiaocha.com/Survey/show_EDAE0C9CDEC7D0D6F7472615CA083CB9_50590726357083_50591439627395_16.html，点击问题5的多选框，点击图示多选框，首先需要在火狐浏览器中分析下多选框会匹配的xpath：

如上图xpath 可以通配该问题的所有答案：//table[@id="tableinfo50590738299290"]//tr/td/input，将此xpath写在循环中，就会从上至下，点击所有符合该xpath 的元素。

 

4.点击指定的元素列表

    在勾选了只读的list 变量中,写上你需要点击的xpath ,一行一个，这样就会循环点击该list 变量中的xpath。

在可视化采集软件火车采集器的逻辑中还有一个跳出本次循环，这个只有在循环内才可以使用，功能是不再执行此步骤下面设置的步骤内容，而是直接从下一个循环开始重新循环。比如一个循环，我们命名为第一次循环，第二次循环，第三次循环……，如果我们在第二次循环的时候运行了跳出本次循环的功能，则第二次循环中，跳出本次循环下面设置的步骤都不再运行，而是直接开始第三次循环。这与结束循环的概念是不同的，结束循环就是直接结束整个循环，这里需要大家注意一下。

标签: 火车浏览器 可视化采集软件

评论(0) 引用(0) 浏览(4000)