试了下,火车头确实不行,因为它起始网址的参数就一个*,没法对两个动态的数据描述。
嘉兴网站建设公司成都创新互联,嘉兴网站设计制作,有大型网站制作公司丰富经验。已为嘉兴成百上千提供企业网站建设服务。企业网站搭建\成都外贸网站制作要多少钱,请找那个售后服务好的嘉兴做网站的公司定做!
那不妨换个角度来思考,为什么不把这些网址变成1级网址让火车头以采集的方式把它采集出来呢。比如//i.html?_pgn=2_skc=50rt=nc把这个设置为起始网址(0级网址),那么你在设置采集网址的1级网址。而//i.html?_pgn=2_skc=50rt=nc这个页面肯定会有下一页,那么下一页的网址应该就是://i.html?_pgn=3_skc=100rt=nc,这个页面的下一页的网址就是//i.html?_pgn=4_skc=150rt=nc,依次类推,层层采集,最终会把你要得网址采集完。那么可能会问起始网址就一个,怎么会采集到那么多的“下一页”呢,这个可以用分页的效果来实现,因为你设置好了分页,火车头就会自动跳到下一页去采集,分页的功能就把一个起始网址扩展出N个起始网址了!
不得不说火车头是有一定用处,但是个人觉得不怎么好用,光是写那些采集规则,设定什么的就一大堆不明不白的东西。拿钱购买嘛,一开始那客服还很热情的为你解答,一交完钱买下来了,写规则,好了,有问题要找客服解决,结果一拖再拖,弄了一个多月还没弄好,整个网站的工作进程全拖慢了,还不如自己辛苦点自己手动写文章,还采集啥啊~
言归正传,火车头使用:新建站点—新建任务—填写你要采集的网站文章列表—点下面的开始测试网址—如果有采集到很多文章,看各个地址相同部分(如system/2012/03/07),点返回修改,把system/2012/03/07这部分加到“文章内容必须包含”那里,再测试一下,就可以采集到3月7日的文章地址了—前面准备好网址后接下来就是第二步的采集内容规则了,点第二步,设定标签,一般采集包括标题title/title、关键字meta name=keyword...、内容div.../div,这些设置从你要采集的网站代码上可以找到相应的——采集页面上的图片,在第四步,“文件保存及高级设置”,选择所有文件本地保存文件夹(这里是从页面下载图片存放的位置),然后下面有个FTP同步文件上传的,填好服务器、用户名、密码什么的,文件上传根目录就是你网站服务器放置图片的文件夹位置,你可以在服务器新建一个文件夹试试看,OK!到此为止,不过有一些网站写了反采集代码,有可能会被封IP,整体来说,个人不提倡使用火车头采集器,还不如个人手动来得实在,就算一天少发点也行,只要保证每天更新量、伪原创和原创,一样有很大效果。
1、首先在采集列表页的源码中将带有缩略图的那部分源码复制下来,如图:
2、查看网站的源码,找到这行代码,如图:
3、打开火车头,进入采集网址规则—添加多级网址采集规则,选中手动填写链接地址规则,并将第二步骤中选中的代码粘贴进去,如图:
4、将代码进行如下修改:
5、改好后保存并进行采集测试,如图所示
6、然后再在采集内容规则里进行修改,选中“缩略图”标签,打开,进行内容替换,如图:
7、然后点击文件下载,选中下载图片,并填好缩略图保存路径及命名方式,如图:
8、在“文件保存及部分高级设置”里设定缩略图的保存盘符及其前缀,我设定为桌面,前缀为“./”,如图:
9、我们保存后测试一下,一起顺利,缩略图顺利采集下来了
火车头采集器火车采集器(LocoySpider) 是一个供各大主流文章系统,论坛系统等使用的多线程内容采集发布程序。使用火车采集器,你可以瞬间建立一个拥有庞大内容的网站。系统支持远程图片下载,图片批量水印,Flash下载,下载文件地址探测,自制作发表的cms模块参数,自定义发表的内容等。此外,丰富的规则制定,内容替换功能,对Access,Mysql,MSsql的数据入库导出的支持,更可令你采集内容的时候得心应手,现在开始你可以抛弃过去重复乏味的手工添加工作了,请马上开始体验瞬间建站的乐趣吧!
火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件,强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器,自定义用户cms系统模块,不管你的网站是什么系统,都有可能使用上火车采集器,系统自带的模块文件支持:风讯文章,动易文章,动网论坛,PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,魔力论坛,Dedecms文章,Xydw文章,惊云文章等的模块文件。更多cms模块请自己参照制作修改,也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。
LocoySpider采用Visual C#编写,可独立在Windows2008下运行(windows2003 自带.net1.1框架。最新版的火车采集器是2008版,需要升级到.net2.0框架才能使用),如您在Windows2000、Xp等环境下使用,请先到微软官方下载一个.net framework2.0或更高环境组件。