robots.txt规则写法与常见配置陷阱全解析
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /014ad0163eb1.html
📄
爬虫访问任何网站时，第一步动作通常是请求根目录下的 robots.txt 文件。这个纯文本文件相当于给搜索引擎机器人的一份访问指南，明确规定哪些路径可以抓取、哪些区域需要避开。配置得当，不仅能保护后台和隐私页面不被收录，还能引导爬虫把抓取预算集中在高价值内容上，对 SEO 效果有明显增益。
1. 指令拆解：搞清每个字段的真实作用
robots.txt 必须存放在站点根目录下，例如 https://yourdomain.com/robots.txt。文件名与路径的字母大小写需严格区分，建议使用 UTF-8 编码保存，并确保每条指令独占一行，行尾不要遗留多余空格。要写出正确的规则，先要理解几个核心字段的功能边界：
- User-agent：声明该规则适用于哪个爬虫，星号 * 表示匹配所有爬虫。
- Disallow：指定不可抓取的路径，若值为 /，则等同于禁止所有爬虫访问全站。
- Allow：允许某个子路径被抓取，但该指令的兼容性有限，例如 Googlebot 支持它，而部分爬虫会直接忽略。
除了上述三条，还可以在文件中加入 Sitemap 行来指明站点地图的位置。一个典型配置示例如下：
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://yourdomain.com/sitemap.xml
这段规则的含义是：全站默认允许抓取，但 /admin/ 目录被屏蔽，其中 /admin/public/ 作为例外开放。这里有一个高频踩坑点：如果使用的爬虫不识别 Allow 指令，它只会看到 Disallow 的限制，那 /admin/public/ 对它来说依然无法访问。
2. 常见配置模板：按场景直接选用
不同站点类型的目标差异巨大，robots.txt 的实际写法也各不相同。以下三种模板基本覆盖了绝大多数需求，你可以直接将路径替换为自己的目录结构。
2.1 全站对外开放
内容型站点或新上线的网站，通常希望所有页面都能被爬虫抓取。此时只需一行最简单的规则：
User-agent: *
Disallow:
即使把 Disallow 整行删除，效果也完全相同。最大的风险在于误写成 Disallow: /，这样所有爬虫都会被全部拦截，收录进度会瞬间停滞。修改完文件后，务必通过搜索引擎站长工具的抓取测试功能，验证实际返回结果是否符合预期。
2.2 单独屏蔽某个搜索引擎
如果不想让特定搜索引擎收录站点，可以仅为它单独设定规则，而不影响其他爬虫：
User-agent: Bingbot
Disallow: /
配置完成后，Bingbot 将无法访问任何页面，其他搜索引擎的抓取策略完全不受影响。注意爬虫名称必须拼写准确，比如 Googlebot、Baiduspider、Sogou 蜘蛛各不相同，名称一旦写错，该规则将直接失效，建议到各搜索引擎的官方文档中去核对标准名称。
2.3 仅开放指定目录
部分工具型站点希望爬虫只深入特定目录，其余路径一律封闭。此时可这样配置：
User-agent: *
Allow: /content/
Disallow: /
这种写法允许爬虫访问 /content/ 下的资源，同时拒绝其他所有路径。判断标准很简单：如果你的站点只依赖某几个目录产生流量，而大量后台与临时页面无收录价值，这种策略能高效节省抓取配额。
3. 容易踩中的配置陷阱
robots.txt 的语法并不复杂，但实际使用中出现的故障往往源于细节疏忽。以下几种问题最为常见，值得重点防范。
- 通配符与正则误用：robots.txt 支持 * 匹配任意字符序列，也支持 $ 表示结尾。例如 Disallow: /*.pdf$ 可以屏蔽所有 PDF 文件，但并不支持完整的正则表达式，写复杂模式时极易出错。
- 并发规则冲突：当 Allow 和 Disallow 同时作用于同一路径时，以最长匹配的规则为准。比如 Disallow: /docs 与 Allow: /docs/public/ 并存，公开子目录仍然可抓。
- 文件编码问题：使用带 BOM 的 UTF-8 编码，或者在文件末尾留下不可见字符，都可能让爬虫无法正确解析规则，导致文件整体失效。
- 大小写敏感：如果站点目录是 /Admin/ 而规则写成 /admin/，爬虫会认为这是不同路径，屏蔽目标完全没有达成。
避坑建议是：每写完一条规则后，立即使用在线 robots.txt 测试工具或站长平台的调试页面去验证，而不是上线后才发现收录异常。
4. 与其他 SEO 要素的协作关系
robots.txt 不是孤立存在的，它的作用与站点地图、页面的 noindex 标签密切关联。例如，Sitemap 行只是告知爬虫地图文件地址，并不会自动提高页面的收录优先级；如果某个 URL 同时在 Sitemap 中列出，又被 robots.txt 屏蔽，那最终结果通常是爬虫忽略该页面。因此，设置 robots.txt 时需要确保它不与其他 SEO 信号发生冲突，例如在后台页面中同时存在 noindex 标签时，可以使用 meta 标签来替代，这样即使爬虫忽略了规则，页面依然不会进入索引。
5. 常见问题
5.1 Q1：robots.txt 能彻底阻止页面被收录吗？
不能。robots.txt 只是阻止爬虫抓取，如果某个外部网站主动链接了被屏蔽的 URL，搜索引擎仍可能将该地址展示在搜索结果中（通常不带描述文字）。要想彻底从索引库中移除页面，应使用 noindex meta 标签或通过站长工具提交删除请求。
5.2 Q2：修改 robots.txt 后，已经收录的页面多久会消失？
这取决于搜索引擎的爬行频率。通常 Googlebot 会重新检查 robots.txt 的变化，并在后续的抓取周期中发现屏蔽规则，从而逐步从索引中清理这些页面，一般需要数天到数周不等，没有固定时间。
5.3 Q3：Allow 指令在所有搜索引擎中都有效吗？
并非如此。Googlebot 和 Bingbot 支持 Allow 指令，但部分小型搜索引擎的爬虫可能忽略它，遇到这种情况，它们的行为将退化为仅遵循 Disallow 的限制。为保证最大兼容性，尽量确保 Allow 规则不会在 Disallow 覆盖范围内产生歧义。
6. 总结
robots.txt 是维护网站抓取秩序的基础文件，掌握 Disallow、Allow 与 Sitemap 指令的准确用法，搭配合理的路径策略，就能有效保护敏感目录并优化抓取效率。建议你在改动后逐一测试规则，定期检查日志中的爬虫抓取状态，同时避免正则滥用和编码问题，让这份简单的文本文件真正发挥出应有的作用。
