- 宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛
就是拦截垃圾蜘蛛、爬虫、采集器。降低服务器消耗。加快速度。避免不必要的消耗，导致搜索引擎收录差等。
二、使用方法： 方法一、宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛安装宝塔linux防火墙。收费插件。当然你可以安装开心版宝塔面板或者破解版宝塔。
软件管理 → linux防火墙 → 全局配置 → User-Agent过滤 填入下面的规则。
随便写描述后点击添加即可。
垃圾蜘蛛规则列表
(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu)
方法二、.htaccess 文件屏蔽某些垃圾蜘蛛根据使用观察，发现宝塔插件的防火墙UA屏蔽对某些蜘蛛无效，我用的是apache，在伪静态规则中写有用。
SetEnvIfNoCase ^User-Agent$ .*(SemrushBot|SemrushBot-SA|Bytespider|BLEXBot|CompSpyBot|Exabot|ZoominfoBot|ExtLinksBot|AlphaBot|DotBot|MauiBot|MegaIndex.ru|SiteExplorer|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|perl|Python|Wget|Xenu|ZmEu) BADBOT
Order Allow,Deny
Allow from all
Deny from env=BADBOT
三、进阶教程
如果自己站点有其他垃圾UA的机器人Bot。可以安装网站监控报表插件。在网站日志中查到不想让他访问的UA,然后添加到之前的规则中，规则使用|隔开即可。不能同时出现两个|。
转载请注明：本文《宝塔插件的防火墙UA添加屏蔽某些垃圾蜘蛛》链接: http://seo.leidu.net/post-354.html
|
