屏蔽恶意爬虫并保护真蜘蛛的配置

站点每天被各类恶意爬虫消耗带宽和资源。精准屏蔽策略：封假蜘蛛、限扫描器、放真蜘蛛，三者互不误伤。

识别清单建立

从日志统计UA分布，识别扫描器（sqlmap、nikto等）、伪装蜘蛛（UA含baiduspider但IP非百度）、高频采集器三类。

Nginx层屏蔽

if判断UA匹配扫描器特征返回403；伪装蜘蛛按IP封禁；空UA请求限流。

频率限制

limit_req_zone对单IP设置合理阈值，正常用户和真蜘蛛不受影响。真蜘蛛白名单独立于限流规则。

效果监控

封禁后观察正常用户访问和真蜘蛛抓取均不受影响，带宽与服务器负载下降。

判断标准与参考数据

恶意爬虫流量下降90%以上；真蜘蛛抓取与正常用户转化率无变化。

注意事项

屏蔽规则每次调整都要观察24小时再继续收紧；误封搜索引擎蜘蛛的事故必须当天发现当天处理。