火车采集器官方博客
http二级代理处页面缓存功能开发
post by:小文 2013-8-9 14:16

如果有多个任务同时对一个页面进行采集,在页面有新的数据产生前,那可能会产生大量的无用的请求,如果这时对这个页面做一个缓存,对缓存时间内的页面,则直接去读取原来的内容,这样可以减少大量的请求,提高采集速度。该功能预计在8月中旬在v8版本中开发出来。

点击查看原图

评论:
发表评论:
昵称

邮件地址 (选填)

个人主页 (选填)

内容