开发计划 - 火车采集器官方博客

将采集器运行中的所有日志保存到文本中

作者：小文发布于：2013-3-13 13:30 Wednesday 分类：开发计划

应部分企业客户要求，软件增加了一个日志统计功能。软件会将运行中在任务运行窗口所有显示的日志保存到txt文件中。

开启该功能的方法及使用方法如下：

新建一个空白文本文件logtofile.txt，将该文件放在目录 Configration 下，然后程序就会生成 Logs\任务id\时间.txt 这样的日志文件，用户直接访问那些文件就可以了。

请需要该功能的用户下载3.13号的手动更新（3.13后公开发布的版本已经有此功能）

评论(0) 引用(0) 浏览(3690)

采集搜索引擎指定关键词的工具极速搜索预览版

作者：小文发布于：2012-9-22 17:19 Saturday 分类：开发计划

以上是基本的功能，详情请咨询我们。

标签: 搜索引擎

评论(2) 引用(0) 浏览(13999)

火车头数据采集平台1.6增加的Http正文提取，Ocr识别和中文分词功能

作者：小文发布于：2012-9-14 17:31 Friday 分类：开发计划

9.12号发布的新版采集器平台增加了Http正文提取和Ocr识别功能，使用企业版本的用户都可以使用。用户可以通过调用http，完成正文识别或是ocr等功能，使用户的平台和采集器整合更加方便。以下是具体的使用方法，注意，请先启动http服务器。

1、正文提取功能

a.用户需要输入要提取的网址或是内容。如果是单纯的网址识别，注意要访问的网页不需要登录。

示例网址：http://127.0.0.1:800/api?model=text&pageurl=http://news.qq.com/a/20120914/001770.htm

b.如果是要提取某个网页的内容。请填写完整的html源码和pageurl.注意请求时对发送的内容进行utf8格式的urlencode.如果只填写了pageurl而没有html,则服务器会去访问pageurl请求html代码。

示例: http://127.0.0.1:800/api?model=text&html=编码后的完整的html代码&pageurl=http://news.qq.com/a/20120914/001770.htm

c.提取方式分为标准模式，完全模式，纯净模式，需要加一个returntype参数，其值为raw（标准模式）,pure（纯净模式）.默认为标准模式。

d.结构形式默认为普通文章，如果需要多层评论形式，请添加pagetype=bbs

最后返回的结果是xml格式的，如下

2.ocr识别

ocr识别支持直接传入图片地址和base64编码的图片。用户需要指定一个ocr配置文件名。ocr配置文件要保存在Configuration/ocr/目录下。请求的格式如下

a.直接的图片地址

http://127.0.0.1:888/api?model=ocr&ocrfile=baixing&imgurl=http%3A%2F%2Fstatic.baixing.net%2Fpages%2Fmobile%2FXTJ7aQPIUYmLpzNNsitnwA%253D%253D%2F2.jpg

返回的结果如下：

3.中文分词

中文分词支持一个或多个正文文本的识别，默认的是分词5个，分隔符，号。如果要修改，请传入参数splitnum和splitsep。识别文本的字段名要以wordsegtxt开头，整个字段名只能包含数字或字母。程序处理完后，会返回xml格式数据，以原字段名命令标签名。

http://127.0.0.1:888/api?model=wordseg&wordsegtxt1=%E7%81%AB%E8%BD%A6%E9%87%87%E9%9B%86%E5%99%A8(%E8%BD%AF%E8%91%97%E7%99%BB%E5%AD%970144474%E5%8F%B7%EF%BC%8C2009SR017475)%E6%98%AF%E4%B8%80%E6%AC%BE%E4%B8%93%E4%B8%9A%E7%9A%84%E7%BD%91%E7%BB%9C%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%2F%E4%BF%A1%E6%81%AF%E6%8C%96%E6%8E%98%E5%A4%84%E7%90%86%E8%BD%AF%E4%BB%B6%EF%BC%8C%E9%80%9A%E8%BF%87%E7%81%B5%E6%B4%BB%E7%9A%84%E9%85%8D%E7%BD%AE%EF%BC%8C%E5%8F%AF%E4%BB%A5%E5%BE%88%E8%BD%BB%E6%9D%BE%E8%BF%85%E9%80%9F%E5%9C%B0%E4%BB%8E%E7%BD%91%E9%A1%B5%E4%B8%8A%E6%8A%93%E5%8F%96%E7%BB%93%E6%9E%84%E5%8C%96%E7%9A%84%E6%96%87%E6%9C%AC%E3%80%81%E5%9B%BE%E7%89%87%E3%80%81%E6%96%87%E4%BB%B6%E7%AD%89%E8%B5%84%E6%BA%90%E4%BF%A1%E6%81%AF%EF%BC%8C%E5%8F%AF%E7%BC%96%E8%BE%91%E7%AD%9B%E9%80%89%E5%A4%84%E7%90%86%E5%90%8E%E9%80%89%E6%8B%A9%E5%8F%91%E5%B8%83%E5%88%B0%E7%BD%91%E7%AB%99%E5%90%8E%E5%8F%B0%EF%BC%8C%E5%90%84%E7%B1%BB%E6%96%87%E4%BB%B6%E6%88%96%E5%85%B6%E4%BB%96%E6%95%B0%E6%8D%AE%E5%BA%93%E7%B3%BB%E7%BB%9F%E4%B8%AD%E3%80%82%E8%A2%AB%E5%B9%BF%E6%B3%9B%E5%BA%94%E7%94%A8%E4%BA%8E%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86%E6%8C%96%E6%8E%98%E3%80%81%E5%9E%82%E7%9B%B4%E6%90%9C%E7%B4%A2%E3%80%81%E4%BF%A1%E6%81%AF%E6%B1%87%E8%81%9A%E5%92%8C%E9%97%A8%E6%88%B7%E3%80%81%E4%BC%81%E4%B8%9A%E7%BD%91%E4%BF%A1%E6%81%AF%E6%B1%87%E8%81%9A%E3%80%81%E5%95%86%E4%B8%9A%E6%83%85%E6%8A%A5%E3%80%81%E8%AE%BA%E5%9D%9B%E6%88%96%E5%8D%9A%E5%AE%A2%E8%BF%81%E7%A7%BB%E3%80%81%E6%99%BA%E8%83%BD%E4%BF%A1%E6%81%AF%E4%BB%A3%E7%90%86%E3%80%81%E4%B8%AA%E4%BA%BA%E4%BF%A1%E6%81%AF%E6%A3%80%E7%B4%A2%E7%AD%89%E9%A2%86%E5%9F%9F%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E5%90%84%E7%B1%BB%E5%AF%B9%E6%95%B0%E6%8D%AE%E6%9C%89%E9%87%87%E9%9B%86%E6%8C%96%E6%8E%98%E9%9C%80%E6%B1%82%E7%9A%84%E7%BE%A4%E4%BD%93&wordsegtxt2=%E9%92%93%E9%B1%BC%E5%B2%9B%E6%98%AF%E5%8F%B0%E6%B9%BE%E7%9C%81%E4%B8%8D%E5%8F%AF%E5%88%86%E5%89%B2%E7%9A%84%E4%B8%80%E9%83%A8%E5%88%86

标签: ocr

评论(0) 引用(0) 浏览(29707)

E商统计预览版

作者：小文发布于：2012-7-3 16:25 Tuesday 分类：开发计划

E商统计是一款用于抓取淘宝，天猫，拍拍，卓越等网店商品信息并进行分析的统计软件。它可以按关键字，按栏目对指定的商品进行抓取，也可以对指定的网店销售情况进行抓取分析。还可以对商品的交易信息，评论信息进行抓取和统计。它支持将抓取的数据导入其它的数据库或是网站，是网店数据分析的良好工具。该软件目前完成的功能有：搜索抓取和导出结果为excel.以下是该软件的操作方法：

1.软件的安装

打开火车头数据采集平台软件，在扩展菜单，扩展管理中安装E商统计即可。

2.软件的使用。

a.在分组上右键新建任务