如果有多个任务要对同一个网页的不同位置进行采集,那么,很容易出现这个页面访问过多的问题,而多次的请求中,原页面可能并不存在任何的更新,白白浪费时间和带宽。现在我们开发了页面缓存功能,可以解决这个问题。
用户需要打开二级代理程序 ProxyModule.exe 就可以看到。只需要开启,然后设置一下网址必须包含和内容必须包含,则符合条件的内容会缓存在本地。在指定的时间内是可以不去访问网站,直接读取本地数据文件。
作者:小文 发布于:2013-8-12 15:03 Monday 分类:功能介绍
如果有多个任务要对同一个网页的不同位置进行采集,那么,很容易出现这个页面访问过多的问题,而多次的请求中,原页面可能并不存在任何的更新,白白浪费时间和带宽。现在我们开发了页面缓存功能,可以解决这个问题。
用户需要打开二级代理程序 ProxyModule.exe 就可以看到。只需要开启,然后设置一下网址必须包含和内容必须包含,则符合条件的内容会缓存在本地。在指定的时间内是可以不去访问网站,直接读取本地数据文件。
标签: 代理
作者:小文 发布于:2013-8-10 16:31 Saturday 分类:功能介绍
有时要查询一些信息,需要输入多个不同的关键词进行查询,而原来的版本中不能更换关键词。不过这个问题新版已处理。导入文本后,程序会一行一个的去查询,并得到最后的结果。注意,该查询中不能使用随机值。发送的post数据中要有[文本]关键词。
标签: post
作者:小文 发布于:2013-8-10 16:03 Saturday 分类:功能介绍
标签: 右键
作者:小文 发布于:2013-8-9 14:16 Friday 分类:开发计划
如果有多个任务同时对一个页面进行采集,在页面有新的数据产生前,那可能会产生大量的无用的请求,如果这时对这个页面做一个缓存,对缓存时间内的页面,则直接去读取原来的内容,这样可以减少大量的请求,提高采集速度。该功能预计在8月中旬在v8版本中开发出来。
标签: 缓存
作者:小文 发布于:2013-8-9 11:49 Friday 分类:功能介绍
标签: post