火车采集器官方博客

关于Web发布时提交纯文本POST数据的设置方式

作者：小文 发布于：2013-8-15 16:59 Thursday 分类：功能介绍

有的网站的数据提交方式是使用纯TXT或其它方式提交的，所以用v8的表单方式是直接处理不了的，如下

 

POST http://blog.youdao.com/dwr/exec/outfoxAjaxWrapper.getDetailedSummary.dwr HTTP/1.1

Host: blog.youdao.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 QQDownload/1.7
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-cn,zh;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Content-Type: text/plain; charset=UTF-8
Referer: http://blog.youdao.com/search?q=%E5%85%A5%E5%85%9A%E7%94%B3%E8%AF%B7%E4%B9%A6&t=a
Content-Length: 618
Pragma: no-cache
Cache-Control: no-cache

callCount=1
c0-scriptName=outfoxAjaxWrapper
c0-methodName=getDetailedSummary
c0-id=6738_1287908353987
c0-param0=string:%25E5%2585%25A5%25E5%2585%259A%25E7%2594%25B3%25E8%25AF%25B7%25E4%25B9%25A6
c0-param1=string:description%253A%2522%25E5%2585%25A5%25E5%2585%259A%2B%25E7%2594%25B3%25E8%25AF%25B7%25E4%25B9%25A6%2522%257E5%2Btitle%253A%2522%25E5%2585%25A5%25E5%2585%259A%2B%25E7%2594%25B3%25E8%25AF%25B7%25E4%25B9%25A6%2522%257E5
c0-param2=string:%25E5%2585%25A5%25E5%2585%259A%2509%25E7%2594%25B3%25E8%25AF%25B7%25E4%25B9%25A6
c0-param3=string:C8B3583B48911F2C
c0-param4=boolean:false
c0-param5=string:UTF-8

xml=true

 

不过V8也提供了一种变通的实现方式。双击插件设置，可以看到一种发布方式，选择 txt/plain 方式。

然后在内容发布参数中如此设置，结果会如何呢？

可以看到，结果是表单名和表单值直接合并到了一块，然后每个表单之间以换行相连。

标签: post

评论(0) 引用(0) 浏览(19806)

添加或执行SQL语句让批量操作更快捷

作者：小文 发布于：2013-8-13 12:00 Tuesday 分类：功能介绍

如果用户需要对所有的任务数据库进行一个操作，或是在创建任务时添加一些新的字段，可以使用该功能。该功能在 扩展-》火车采集器-》添加或执行SQL语句 。注意，创建表时添加的语句，会在转换数据库类型时也起作用。

标签: SQL

评论(0) 引用(0) 浏览(13294)

页面缓存功能的使用介绍

作者：小文 发布于：2013-8-12 15:03 Monday 分类：功能介绍

如果有多个任务要对同一个网页的不同位置进行采集，那么，很容易出现这个页面访问过多的问题，而多次的请求中，原页面可能并不存在任何的更新，白白浪费时间和带宽。现在我们开发了页面缓存功能，可以解决这个问题。

用户需要打开二级代理程序 ProxyModule.exe 就可以看到。只需要开启，然后设置一下网址必须包含和内容必须包含，则符合条件的内容会缓存在本地。在指定的时间内是可以不去访问网站，直接读取本地数据文件。

标签: 代理

评论(0) 引用(0) 浏览(13177)

POST网址部分增加使用文本数据提交功能

作者：小文 发布于：2013-8-10 16:31 Saturday 分类：功能介绍

有时要查询一些信息，需要输入多个不同的关键词进行查询，而原来的版本中不能更换关键词。不过这个问题新版已处理。导入文本后，程序会一行一个的去查询，并得到最后的结果。注意，该查询中不能使用随机值。发送的post数据中要有[文本]关键词。

标签: post

评论(1) 引用(0) 浏览(5017)

火车采集器 任务右键菜单+shift 功能介绍

作者：小文 发布于：2013-8-10 16:03 Saturday 分类：功能介绍

火车采集器的任务右键菜单选项已经很多了，但还有朋友认为要将常用的功能加入。为了防止一大堆的菜单吓着用户，我们新版v8增加了一个 右键+shift 时，提供更多菜单功能。有兴趣的朋友下载今天或以后的版本看看。当然，您有更多的菜单建议，也可以在2000人群里Q我或是在本文下留言。

标签: 右键

评论(0) 引用(0) 浏览(4501)