火车采集器官方博客
页面缓存功能的使用介绍
post by:小文 2013-8-12 15:03

如果有多个任务要对同一个网页的不同位置进行采集,那么,很容易出现这个页面访问过多的问题,而多次的请求中,原页面可能并不存在任何的更新,白白浪费时间和带宽。现在我们开发了页面缓存功能,可以解决这个问题。

用户需要打开二级代理程序 ProxyModule.exe 就可以看到。只需要开启,然后设置一下网址必须包含和内容必须包含,则符合条件的内容会缓存在本地。在指定的时间内是可以不去访问网站,直接读取本地数据文件。

点击查看原图

评论:
发表评论:
昵称

邮件地址 (选填)

个人主页 (选填)

内容