noindex、robots、301三者的区别与选用

noindex、robots Disallow、301经常被混用，三者机制完全不同，用错场景会出大问题。

noindex：允许抓取但禁止收录

页面加 meta robots noindex，蜘蛛可以来抓但不会收录。用于已不需要收录但不想断开访问的页面。注意：不要与robots屏蔽同时使用，屏蔽后蜘蛛看不到noindex。

robots Disallow：禁止抓取

蜘蛛根本不来。用于后台、接口、无价值目录。已收录的页面加robots屏蔽不会立即移除收录，反而可能以无摘要形式长期存在。

301：永久转移

把旧地址的信号传递给新地址。用于改版、换域名、URL合并，是保留历史积累的标准动作。

选用决策

要删但保留访问用noindex；不让蜘蛛来用robots；换地址用301。三种工具对应三种意图，不重叠。

判断标准与参考数据

noindex生效后索引在数天内移除；robots屏蔽生效后日志中该路径的抓取立即归零。

注意事项

robots屏蔽+noindex同时用是经典错误：屏蔽导致蜘蛛无法读取noindex声明，页面反而可能长期留在索引里。