搜索:v7

火车采集器v7版新浪评论采集插件

作者:小文 发布于:2012-5-15 20:41 Tuesday 分类:免费插件

这个插件是对多页中的第一个页面进行了分析,获取到分页总数,然后生成了分页让采集器下载,涉及的代码为

        public List<string> GetPagesUrl(int level, string pageurl, string html, string pagesStyle, string pagesCombine)
        {
            List<string> urls = new List<string>();
            //"show": 127}, http://comment5.news.sina.com.cn/page/info?format=js&jsvar=pagedata&channel=gn&newsid=1-1-24331859&group=0&page=1&list=all&sort=0,

http://news.sina.com.cn/c/2012-04-26/061224331859.shtml


            if (level == 1 && pageurl.Contains("page=1&"))
            {
              string sign="show\": ";
              int pos = html.IndexOf(sign);
              if (pos > 0)
              {
                  int pos2 = html.IndexOf("}", pos);
                  if (pos2 > 0)
                  {
                      int count = int.Parse(html.Substring(pos + sign.Length, pos2 - pos - sign.Length));
                      count = (int)Math.Ceiling((double)count / 20);
                      for (int i = 2; i < count + 1; i++)
                      {
                          urls.Add(pageurl.Replace("page=1", "page=" + i.ToString()));
                      }
                  }
              }
            }
            return urls;
        }

 

  public bool UseGetPagesUrl
        {
            get { return true; }
        }

 

规则请在附件中下载

 点击查看原图点击查看原图

标签: 新浪

评论(1) 引用(0) 浏览(10895)

58验证码识别(最后更新2016.5.26)

作者:小余 发布于:2012-5-15 15:23 Tuesday 分类:免费插件

请先下载 58电话识别采集规则.rar,解压后导入采集规则,然后关闭火车采集器,删除掉Plugins文件夹下的 58验证码.dll ,然后再下载另一个压缩包,解压其中的 58验证码.dll 文件到文件夹Plugins下,再打开采集器,就可以看到插件了。如果您v7版本导入成功后看不到插件,请下载最新版本再导入。现在插件是自动识别后,将结果保存在字符串<tel>电话号码</tel>中,如图,具体设置可以看示例采集规则。点击查看原图

 

有些不能识别的号码,插件是将不能识别的保存在了58_error.log文件中。如果您认为插件识别错误,请将这个文件中的记录发给我们。我们会第一时间更新该插件。

 

标签: 58

评论(18) 引用(0) 浏览(42610)

火车采集器V7,V8版WordPress 3.3 版本Web发布模块(带发布插件)

作者:小文 发布于:2012-4-23 16:00 Monday 分类:其它资源

wordpress的发布一直是比较头疼的事情,因为它的数据库结构复杂,加之升级也较快,旧的接口文件难以达到和它发布一样的效果。v7版本增加了发布时使用插件,这个可以方便我们自己写发布的流程。该发布模块的使用方法如下,请一定仔细看:

 

1.如果您需要填写自定义字段,请在内容发布参数中添加一个表单项。比如,您定义的字段名为 download,则您需要添加的格式如下,表单名格式为 meta[自定义字段名] 。如果要添加多个自定义字段,再添加即可。

点击查看原图

2.如果您需要上传缩略图,请建一个标签名为thumb,这个标签中要有图片下载的。该发布模块会将图片上传并设置为缩略图

3.该发布模块是使用原英文wordpress系统做的,成功标识码在实际使用中可能要进行修改。

标签: wordpress

评论(22) 引用(0) 浏览(42699)

火车采集器V7版MySql,SqlServer索引添加工具

作者:小文 发布于:2012-4-21 11:00 Saturday 分类:其它资源

如果您使用的火车采集器是2012.4.21号或以后的版本,则该工具对您没有用处,不必下载使用。如果您是先前使用myql或是sqlserver做本地保存数据库,在数据量大的情况下,加载数据缓慢,就应用该工具对原来的数据表中的已采,已发添加索引。

该工具下载完后请放在火车采集器目录下运行。

标签: 索引

评论(0) 引用(0) 浏览(19732)

有道翻译插件(最后更新20150128)

作者:小文 发布于:2012-4-20 16:13 Friday 分类:免费插件

火车采集器v7版本默认带了有道插件并提供了源代码,但是基本是大部分不会编译,所以我们按谷歌翻译插件的使用重新改写了一下插件,请需要的朋友按 https://board.locoy.com/?post=94 的进行操作。需要注意的一点是,翻译方向 里的内容是不一样的。翻译方向标签没有的话是从中文翻译成英文。其它的方向如下:

 

中文到日语:ZH_CN2JA

中文到韩语:ZH_CN2KR

中文到法语:ZH_CN2FR

英文到中文:EN2ZH_CN

日语到中文:JA2ZH_CN

韩语到中文:KR2ZH_CN

法语到中文:FR2ZH_CN

 

如果有朋友需要对该插件进行修改,请打开采集器 /Extensions/LocoySpider/Develop 项目,修改其中的有道翻译。

标签: 有道翻译

评论(0) 引用(0) 浏览(30447)

Powered by emlog