火车采集器官方博客

页面缓存功能的使用介绍

作者：小文 发布于：2013-8-12 15:03 Monday 分类：功能介绍

如果有多个任务要对同一个网页的不同位置进行采集，那么，很容易出现这个页面访问过多的问题，而多次的请求中，原页面可能并不存在任何的更新，白白浪费时间和带宽。现在我们开发了页面缓存功能，可以解决这个问题。

用户需要打开二级代理程序 ProxyModule.exe 就可以看到。只需要开启，然后设置一下网址必须包含和内容必须包含，则符合条件的内容会缓存在本地。在指定的时间内是可以不去访问网站，直接读取本地数据文件。

标签: 代理

评论(0) 引用(0) 浏览(13004)

POST网址部分增加使用文本数据提交功能

作者：小文 发布于：2013-8-10 16:31 Saturday 分类：功能介绍

有时要查询一些信息，需要输入多个不同的关键词进行查询，而原来的版本中不能更换关键词。不过这个问题新版已处理。导入文本后，程序会一行一个的去查询，并得到最后的结果。注意，该查询中不能使用随机值。发送的post数据中要有[文本]关键词。

标签: post

评论(1) 引用(0) 浏览(4772)

火车采集器 任务右键菜单+shift 功能介绍

作者：小文 发布于：2013-8-10 16:03 Saturday 分类：功能介绍

火车采集器的任务右键菜单选项已经很多了，但还有朋友认为要将常用的功能加入。为了防止一大堆的菜单吓着用户，我们新版v8增加了一个 右键+shift 时，提供更多菜单功能。有兴趣的朋友下载今天或以后的版本看看。当然，您有更多的菜单建议，也可以在2000人群里Q我或是在本文下留言。

标签: 右键

评论(0) 引用(0) 浏览(4294)

http二级代理处页面缓存功能开发

作者：小文 发布于：2013-8-9 14:16 Friday 分类：开发计划

如果有多个任务同时对一个页面进行采集，在页面有新的数据产生前，那可能会产生大量的无用的请求，如果这时对这个页面做一个缓存，对缓存时间内的页面，则直接去读取原来的内容，这样可以减少大量的请求，提高采集速度。该功能预计在8月中旬在v8版本中开发出来。

标签: 缓存

评论(0) 引用(0) 浏览(4883)

POST获取网址部分增加了一个修改header功能

作者：小文 发布于：2013-8-9 11:49 Friday 分类：功能介绍

有些post请求需要加额外的header信息才可以得到数据，所以软件加了这个功能，省去写插件的麻烦。附件为示例。采集器需要使用v8版本8.9号及以后的版本才可以支持。

标签: post

评论(0) 引用(0) 浏览(10513)