使用php插件应对不同格式的分页样式

作者：小文发布于：2011-6-1 14:59 Wednesday 分类：软件培训

有的网站使用多种模板显示分页地址，这种情况下我们要获取分页地址就非常困难了。不过我们可以通过插件的功能，自己编写程序判断并生成分页的地址，然后让采集器去获取到。我们的例子如下：

本次测试的网址：

http://www.diyifanwen.com/fanwen/lunwenzhidao/1141715512857992.htm
http://www.diyifanwen.com/fanwen/zhuchici/20101011222334115874624.htm

我们分析其分页地址，可以看到不同的分页样式和代码

对于这种基本没规律的分页，我们无法判断分页的区域，也无法直接得知其总分页数，该怎么办呢？

经分析可以得知，分页的规律是在原网址后加上分页页码，如默认页是1141715512857992.htm，则分页是 1141715512857992_2.htm 。因为这个分页是全部列出的，我们就有办法了：可以去循环查找是否有分页地址存在，有存在则说明有这个分页，然后我们生成存在的网页地址即可。我们用php来写插件。