作者:小文 发布于:2013-8-9 14:16 Friday 分类:开发计划
如果有多个任务同时对一个页面进行采集,在页面有新的数据产生前,那可能会产生大量的无用的请求,如果这时对这个页面做一个缓存,对缓存时间内的页面,则直接去读取原来的内容,这样可以减少大量的请求,提高采集速度。该功能预计在8月中旬在v8版本中开发出来。
标签: 缓存
相关日志:
火车采集器2011版本简介
v7版本采集器将增加自动链接功能
2012年3月插件,接口开发计划
将采集器运行中的所有日志保存到文本中
火车采集器相关辅助工具的开发
发表评论:
昵称
邮件地址 (选填)
个人主页 (选填)