火车采集器官方博客

论坛类数据采集工具开发计划

作者：小文 发布于：2013-8-9 8:45 Friday 分类：开发计划

很多用户需要论坛类，贴吧类，连载类的抓取和更新，而目前的火车采集器没有增量采集功能，在楼层类数据抓取过程中设置比较繁琐。因此，我们计划开发论坛类采集工具。该工具的界面和设置尽量将会和采集器一致，以方便用户迅速上手。以下是软件截图。

软件估计在9月份发布。

 

标签: 论坛

评论(15) 引用(0) 浏览(12943)

标签数据处理中增加了"运行C#代码"功能

作者：小文 发布于：2013-8-5 15:46 Monday 分类：功能介绍

现在采集器的标签处理功能中已经加了好多功能了。但仍不能满足广大用户的需求。使用插件，是一个解决方案，可以处理大部分的问题。但有时用户只要一个很小的操作，要写一个插件，要生成，要编译，实在是折腾。因此，我们开发了”运行C#代码“功能。操作很简单，如果要操作原数据，txt表示已采集到的内容，这个示例是返回一个带毫秒数的时间戳结果。

 

 

 

评论(0) 引用(0) 浏览(4402)

关于Sqlserver中入库时出现乱码的解决方法

作者：小文 发布于：2013-7-17 10:50 Wednesday 分类：常见问题

经常有用户在入库后，发现sqlserver中的数据有乱码，也就是我们常说的问题。这个一般在采集器中显示无问题的，需要修改的是入库语句，加一个强制字符转换。比如语句 insert into aa (content) values ('[标签:内容]') 要改成 insert into aa (content) values (N'[标签:内容]').也就是字符内容前加一个大写的N即可的。

标签: sqlserver

评论(0) 引用(0) 浏览(5191)

如何在入库模块中添加null值

作者：小文 发布于：2013-7-12 10:27 Friday 分类：常见问题

用户的需求是这样的

入库句子 INSERT INTO SKU (gysid,cbbid) VALUES ([标签:gysid],[标签:cbbid])
sku表的cbbid是外键字段，当采集没有字符时，目前是‘’，换成句子就变成 INSERT INTO SKU (gysid,cbbid) VALUES (1,) 这是报错的
需要 INSERT INTO SKU (gysid,cbbid) VALUES (1，null)就不会报错
解决方法很简单，就是在标签的 数据处理 空内容缺省值 中填写个 null 即可的。

但这样会出另一个问题。如果用户的入库语句是这样的 INSERT INTO SKU (gysid,cbbid) VALUES ([标签:gysid],'[标签:cbbid]') 注意是加了引号。也就是说cbbid是个字符串的字段，那这样写的话，就插入的是 'null' 这个字符串，有什么办法呢？也很简单，使用更新语句。我们在入库的语句后再加一个语句，比如 Update SKU set cbbid=null where cbbid='null'

标签: 入库

评论(1) 引用(0) 浏览(5307)

出现“基础链接已关闭，无法链接到远程服务器"错误的解决办法

作者：小文 发布于：2013-6-29 15:27 Saturday 分类：常见问题

一些用户在安装一些软件或是系统做某些修改后，采集器就没无登录或是无法获取到网页。登录或是使用httppostget工具会出现 ”基础链接已关闭，无法链接到远程服务器“的提示。经分析，是系统Socket组件错误，重启socket组件，一切正常。

以下内容来自并经验证有效：http://blog.csdn.net/kongdeqian1988/article/details/7910026

标签: 链接

评论(1) 引用(0) 浏览(29503)