论坛类数据采集工具开发计划

作者:小文 发布于:2013-8-9 8:45 Friday 分类:开发计划

很多用户需要论坛类,贴吧类,连载类的抓取和更新,而目前的火车采集器没有增量采集功能,在楼层类数据抓取过程中设置比较繁琐。因此,我们计划开发论坛类采集工具。该工具的界面和设置尽量将会和采集器一致,以方便用户迅速上手。以下是软件截图。

点击查看原图

点击查看原图

点击查看原图

点击查看原图

点击查看原图

软件估计在9月份发布。

 

标签: 论坛

评论(15) 引用(0) 浏览(12175)

标签数据处理中增加了"运行C#代码"功能

作者:小文 发布于:2013-8-5 15:46 Monday 分类:功能介绍

现在采集器的标签处理功能中已经加了好多功能了。但仍不能满足广大用户的需求。使用插件,是一个解决方案,可以处理大部分的问题。但有时用户只要一个很小的操作,要写一个插件,要生成,要编译,实在是折腾。因此,我们开发了”运行C#代码“功能。操作很简单,如果要操作原数据,txt表示已采集到的内容,这个示例是返回一个带毫秒数的时间戳结果。

点击查看原图

点击查看原图

 

 

 

评论(0) 引用(0) 浏览(3510)

关于Sqlserver中入库时出现乱码的解决方法

作者:小文 发布于:2013-7-17 10:50 Wednesday 分类:常见问题

经常有用户在入库后,发现sqlserver中的数据有乱码,也就是我们常说的问题。这个一般在采集器中显示无问题的,需要修改的是入库语句,加一个强制字符转换。比如语句 insert into aa (content) values ('[标签:内容]') 要改成 insert into aa (content) values (N'[标签:内容]').也就是字符内容前加一个大写的N即可的。

标签: sqlserver

评论(0) 引用(0) 浏览(3668)

如何在入库模块中添加null值

作者:小文 发布于:2013-7-12 10:27 Friday 分类:常见问题

用户的需求是这样的

入库句子 INSERT INTO SKU (gysid,cbbid) VALUES ([标签:gysid],[标签:cbbid])
sku表的cbbid是外键字段,当采集没有字符时,目前是‘’,换成句子就变成 INSERT INTO SKU (gysid,cbbid) VALUES (1,) 这是报错的
需要 INSERT INTO SKU (gysid,cbbid) VALUES (1,null)就不会报错
解决方法很简单,就是在标签的 数据处理 空内容缺省值 中填写个 null 即可的。

但这样会出另一个问题。如果用户的入库语句是这样的 INSERT INTO SKU (gysid,cbbid) VALUES ([标签:gysid],'[标签:cbbid]') 注意是加了引号。也就是说cbbid是个字符串的字段,那这样写的话,就插入的是 'null' 这个字符串,有什么办法呢?也很简单,使用更新语句。我们在入库的语句后再加一个语句,比如 Update SKU set cbbid=null where cbbid='null'

标签: 入库

评论(1) 引用(0) 浏览(3757)

出现“基础链接已关闭,无法链接到远程服务器"错误的解决办法

作者:小文 发布于:2013-6-29 15:27 Saturday 分类:常见问题

一些用户在安装一些软件或是系统做某些修改后,采集器就没无登录或是无法获取到网页。登录或是使用httppostget工具会出现 ”基础链接已关闭,无法链接到远程服务器“的提示。经分析,是系统Socket组件错误,重启socket组件,一切正常。

以下内容来自并经验证有效:http://blog.csdn.net/kongdeqian1988/article/details/7910026

为 Windows7重置 Winsock
要为 Windows 7 重置 Winsock,请按照下列步骤操作:
在开始键入 cmd,右键单击“cmd.exe”,单击“以管理员身份运行”,然后按“继续”。
在命令提示符处键入 netsh winsock reset,然后按 Enter。

修复完成后会提示重启计算机
这个问题同样适用于windows xp

标签: 链接

评论(1) 引用(0) 浏览(25053)

Powered by emlog