robots.txt是一个协议，而不是一个命令。Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
我们提供的服务有：成都网站制作、网站设计、微信公众号开发、网站优化、网站认证、
察哈尔右翼前ssl等。为数千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务，是有科学管理、有技术的
察哈尔右翼前网站制作公司
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器。
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站(比如 http://www.abc.com)时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
例如：
User-agent: Baiduspider
Disallow: /
robots.txt文件的格式：
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开
User-agent:
该项的值用于描述搜索引擎robot的名字。
Disallow表示：
说明不允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
举例：
"Disallow:/help" 禁止robot访问/help.html、/helpabc.html、/help 、/index.html
"Disallow:/help/" 则允许robot访问/help.html
Allow格式：
与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL 是允许robot访问的。
以上就是对robots协议是什么意思?robots.txt文件放在哪里的全部介绍，如果您想了解更多有关SEO相关知识，请及时关注我们。
分享题目：robots协议是什么意思?robots.txt文件放在哪里
文章来源：
http://cdkjz.cn/article/cigjgd.html
