从品牌网站建设到网络营销策划,从策略到执行的一站式服务
创新互联www.cdcxhl.cn八线动态BGP香港云服务器提供商,新人活动买多久送多久,划算不套路!
虚拟主机如何禁止蜘蛛访问?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
虚拟主机组织蜘蛛访问,可以使用robots协议来实现。robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。
我们在管理虚拟主机时,有些情况下,不希望搜索引擎蜘蛛来访问我们的内容,这时,我们需要编写一个爬虫协议,禁止搜索引擎来抓取数据。或者是禁止部分搜索引擎爬虫来访,而允许其他搜索引擎。都是可以通过robots文件实现。
当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
虚拟主机阻止蜘蛛访问,比如禁止全部搜索引擎来访时,可以如下编写:
User-agent: *
Disallow: /
虚拟主机阻止某个蜘蛛访问时,可以如下编写:
User-agent: xxxspider
Disallow:/
虚拟主机阻止某个目录被蜘蛛访问时,可以如下编写:
User-agent: *
Disallow: /admin/
即表示/admin/目录,所有搜索引擎都不得来访问。
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联-成都网站建设公司行业资讯频道,感谢您对创新互联的支持。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图