资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

虚拟主机怎样阻止蜘蛛访问?有什么方法?

虚拟主机怎样阻止蜘蛛访问?有什么方法?虚拟主机组织蜘蛛访问,可以使用robots协议来实现。robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。下面创新互联小编就为大家介绍一下虚拟主机阻止蜘蛛访问方法。

我们提供的服务有:成都做网站、网站制作、成都外贸网站建设、微信公众号开发、网站优化、网站认证、龙山ssl等。为上千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的龙山网站制作公司

虚拟主机怎样阻止蜘蛛访问?有什么方法?(推荐阅读:虚拟主机怎么看ip?一个虚拟主机只有一个ip吗?

我们在管理虚拟主机时,有些情况下,不希望搜索引擎蜘蛛来访问我们的内容,这时,我们需要编写一个爬虫协议,禁止搜索引擎来抓取数据。或者是禁止部分搜索引擎爬虫来访,而允许其他搜索引擎。都是可以通过robots文件实现。

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

虚拟主机阻止蜘蛛访问,比如禁止全部搜索引擎来访时,可以如下编写:

User-agent: *

Disallow: /

虚拟主机阻止某个蜘蛛访问时,可以如下编写:

User-agent: xxxspider

Disallow:/

虚拟主机阻止某个目录被蜘蛛访问时,可以如下编写:

User-agent: *

Disallow: /admin/

即表示/admin/目录,所有搜索引擎都不得来访问。

以上是关于虚拟主机的介绍,如需要更多的虚拟主机小知识,详情请关注创新互联虚拟主机


本文名称:虚拟主机怎样阻止蜘蛛访问?有什么方法?
分享URL:http://cdkjz.cn/article/cigipj.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220