从品牌网站建设到网络营销策划,从策略到执行的一站式服务
这篇“Nginx中配置过滤爬虫的User-Agent方法”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Nginx中配置过滤爬虫的User-Agent方法”文章吧。
创新互联建站专注于扎赉特网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供扎赉特营销型网站建设,扎赉特网站制作、扎赉特网页设计、扎赉特网站官网定制、小程序开发服务,打造扎赉特网络公司原创品牌,更为您提供扎赉特网站排名全网营销落地服务。
一看不得了,基本上都是被一个user agent叫"yisouspider"的东西给刷屏了,一看就不知道是哪的蜘蛛,太没节操了。
找到根目录配置区,增加user agent过滤判断语句,发现叫"yisouspider"的直接返回403
注1:如果需要增加多个过滤,这样做
($http_user_agent ~* "spider1|spider2|spider3|spider4")
,中间用|隔开就行了
注2:如果你是用的是子目录博客,像我的一样,那么要找到 "location /blog/" 这样的区段去修改
location / { ......其它配置 if ($http_user_agent ~* "yisouspider") { return 403; } }
配置完成wq保存后reload一下nginx,然后使用以下命令自我测试,地址自己改。没装curl的我就没办法了,自己apt或者yum装一个吧,神器来的。
curl -i -a "yisouspider" www.slyar.com/blog/
看到返回403就可以了,说明配置成功
以上就是关于“Nginx中配置过滤爬虫的User-Agent方法”这篇文章的内容,相信大家都有了一定的了解,希望小编分享的内容对大家有帮助,若想了解更多相关的知识内容,请关注创新互联行业资讯频道。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图