将采集器运行中的所有日志保存到文本中

作者:小文 发布于:2013-3-13 13:30 Wednesday 分类:开发计划

应部分企业客户要求,软件增加了一个日志统计功能。软件会将运行中在任务运行窗口所有显示的日志保存到txt文件中。

开启该功能的方法及使用方法如下:

新建一个空白文本文件logtofile.txt,将该文件放在目录 Configration 下,然后程序就会生成 Logs\任务id\时间.txt 这样的日志文件,用户直接访问那些文件就可以了。

请需要该功能的用户下载3.13号的手动更新(3.13后公开发布的版本已经有此功能)

评论(0) 引用(0) 浏览(5209)

采集搜索引擎指定关键词的工具极速搜索预览版

作者:小文 发布于:2012-9-22 17:19 Saturday 分类:开发计划

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

 

以上是基本的功能,详情请咨询我们。

标签: 搜索引擎

评论(2) 引用(0) 浏览(15489)

火车头数据采集平台1.6增加的Http正文提取,Ocr识别和中文分词功能

作者:小文 发布于:2012-9-14 17:31 Friday 分类:开发计划

9.12号发布的新版采集器平台增加了Http正文提取和Ocr识别功能,使用企业版本的用户都可以使用。用户可以通过调用http,完成正文识别或是ocr等功能,使用户的平台和采集器整合更加方便。以下是具体的使用方法,注意,请先启动http服务器。

1、正文提取功能

a.用户需要输入要提取的网址或是内容。如果是单纯的网址识别,注意要访问的网页不需要登录。

示例网址:http://127.0.0.1:800/api?model=text&pageurl=http://news.qq.com/a/20120914/001770.htm

b.如果是要提取某个网页的内容。请填写完整的html源码和pageurl.注意请求时对发送的内容进行utf8格式的urlencode.如果只填写了pageurl而没有html,则服务器会去访问pageurl请求html代码。

示例: http://127.0.0.1:800/api?model=text&html=编码后的完整的html代码&pageurl=http://news.qq.com/a/20120914/001770.htm

c.提取方式分为标准模式,完全模式,纯净模式,需要加一个returntype参数,其值为raw(标准模式),pure(纯净模式).默认为标准模式。

d.结构形式默认为普通文章,如果需要多层评论形式,请添加pagetype=bbs

最后返回的结果是xml格式的,如下

点击查看原图

2.ocr识别

ocr识别支持直接传入图片地址和base64编码的图片。用户需要指定一个ocr配置文件名。ocr配置文件要保存在Configuration/ocr/目录下。请求的格式如下

a.直接的图片地址

http://127.0.0.1:888/api?model=ocr&ocrfile=baixing&imgurl=http%3A%2F%2Fstatic.baixing.net%2Fpages%2Fmobile%2FXTJ7aQPIUYmLpzNNsitnwA%253D%253D%2F2.jpg

 

返回的结果如下:

点击查看原图

 

3.中文分词

中文分词支持一个或多个正文文本的识别,默认的是分词5个,分隔符,号。如果要修改,请传入参数splitnum和splitsep。识别文本的字段名要以wordsegtxt开头,整个字段名只能包含数字或字母。程序处理完后,会返回xml格式数据,以原字段名命令标签名。

 

http://127.0.0.1:888/api?model=wordseg&wordsegtxt1=%E7%81%AB%E8%BD%A6%E9%87%87%E9%9B%86%E5%99%A8(%E8%BD%AF%E8%91%97%E7%99%BB%E5%AD%970144474%E5%8F%B7%EF%BC%8C2009SR017475)%E6%98%AF%E4%B8%80%E6%AC%BE%E4%B8%93%E4%B8%9A%E7%9A%84%E7%BD%91%E7%BB%9C%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%2F%E4%BF%A1%E6%81%AF%E6%8C%96%E6%8E%98%E5%A4%84%E7%90%86%E8%BD%AF%E4%BB%B6%EF%BC%8C%E9%80%9A%E8%BF%87%E7%81%B5%E6%B4%BB%E7%9A%84%E9%85%8D%E7%BD%AE%EF%BC%8C%E5%8F%AF%E4%BB%A5%E5%BE%88%E8%BD%BB%E6%9D%BE%E8%BF%85%E9%80%9F%E5%9C%B0%E4%BB%8E%E7%BD%91%E9%A1%B5%E4%B8%8A%E6%8A%93%E5%8F%96%E7%BB%93%E6%9E%84%E5%8C%96%E7%9A%84%E6%96%87%E6%9C%AC%E3%80%81%E5%9B%BE%E7%89%87%E3%80%81%E6%96%87%E4%BB%B6%E7%AD%89%E8%B5%84%E6%BA%90%E4%BF%A1%E6%81%AF%EF%BC%8C%E5%8F%AF%E7%BC%96%E8%BE%91%E7%AD%9B%E9%80%89%E5%A4%84%E7%90%86%E5%90%8E%E9%80%89%E6%8B%A9%E5%8F%91%E5%B8%83%E5%88%B0%E7%BD%91%E7%AB%99%E5%90%8E%E5%8F%B0%EF%BC%8C%E5%90%84%E7%B1%BB%E6%96%87%E4%BB%B6%E6%88%96%E5%85%B6%E4%BB%96%E6%95%B0%E6%8D%AE%E5%BA%93%E7%B3%BB%E7%BB%9F%E4%B8%AD%E3%80%82%E8%A2%AB%E5%B9%BF%E6%B3%9B%E5%BA%94%E7%94%A8%E4%BA%8E%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%E6%8C%96%E6%8E%98%E3%80%81%E5%9E%82%E7%9B%B4%E6%90%9C%E7%B4%A2%E3%80%81%E4%BF%A1%E6%81%AF%E6%B1%87%E8%81%9A%E5%92%8C%E9%97%A8%E6%88%B7%E3%80%81%E4%BC%81%E4%B8%9A%E7%BD%91%E4%BF%A1%E6%81%AF%E6%B1%87%E8%81%9A%E3%80%81%E5%95%86%E4%B8%9A%E6%83%85%E6%8A%A5%E3%80%81%E8%AE%BA%E5%9D%9B%E6%88%96%E5%8D%9A%E5%AE%A2%E8%BF%81%E7%A7%BB%E3%80%81%E6%99%BA%E8%83%BD%E4%BF%A1%E6%81%AF%E4%BB%A3%E7%90%86%E3%80%81%E4%B8%AA%E4%BA%BA%E4%BF%A1%E6%81%AF%E6%A3%80%E7%B4%A2%E7%AD%89%E9%A2%86%E5%9F%9F%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E5%90%84%E7%B1%BB%E5%AF%B9%E6%95%B0%E6%8D%AE%E6%9C%89%E9%87%87%E9%9B%86%E6%8C%96%E6%8E%98%E9%9C%80%E6%B1%82%E7%9A%84%E7%BE%A4%E4%BD%93&wordsegtxt2=%E9%92%93%E9%B1%BC%E5%B2%9B%E6%98%AF%E5%8F%B0%E6%B9%BE%E7%9C%81%E4%B8%8D%E5%8F%AF%E5%88%86%E5%89%B2%E7%9A%84%E4%B8%80%E9%83%A8%E5%88%86

 点击查看原图

标签: ocr

评论(0) 引用(0) 浏览(44202)

E商统计预览版

作者:小文 发布于:2012-7-3 16:25 Tuesday 分类:开发计划

E商统计是一款用于抓取淘宝,天猫,拍拍,卓越等网店商品信息并进行分析的统计软件。它可以按关键字,按栏目对指定的商品进行抓取,也可以对指定的网店销售情况进行抓取分析。还可以对商品的交易信息,评论信息进行抓取和统计。它支持将抓取的数据导入其它的数据库或是网站,是网店数据分析的良好工具。该软件目前完成的功能有:搜索抓取和导出结果为excel.以下是该软件的操作方法:

1.软件的安装

打开火车头数据采集平台软件,在扩展菜单,扩展管理中安装E商统计即可。

2.软件的使用。

a.在分组上右键新建任务

点击查看原图

b.首先设置任务名,然后设置要抓取的关键词,点添加后会出现内置浏览器

点击查看原图

c.如图,在淘宝搜索后,点击确定

点击查看原图

d.任务中就会添加了一个关键词,一个任务可以添加多个关键词,然后可以选是否采详细交易或评论

点击查看原图

e.开始运行任务

点击查看原图

f.任务运行过程

点击查看原图

g.任务运行完成后,可以导出结果到Excel

点击查看原图

 

h.最后导出的结果,该结果在附件中包含。

点击查看原图

标签: E商统计 淘宝

评论(2) 引用(0) 浏览(13938)

v7版本采集器将增加自动链接功能

作者:小文 发布于:2012-3-22 17:06 Thursday 分类:开发计划

在多位朋友建议下,我们决定开发自动插入关键字功能。这个功能可以允许用户编辑一个文本文件,该文件中有关键字也有链接,用户可以设置关键字的密度和是否插入链接。其操作界面和同义词替换功能相似。

该功能已在8.21号版本中加入,请在标签界面的数据处理部分查找。

标签: 自动链接

评论(0) 引用(0) 浏览(5000)

Powered by emlog