放AI爬虫进来，别把自己挡在AI答案外面

robots.txt 经常不小心挡住 GPTBot、PerplexityBot、ClaudeBot。用一条提示词自查，然后给出真实 HTML。

robots.txt 挡住 AI 爬虫，大多不是故意的，可能只是装了安全插件，或用了一条笼统的“屏蔽爬虫”规则。但只要读你页面的爬虫进不来，AI 引擎就永远不会引用你。这是成本最低、见效最快的 GEO 动作，而大多数团队从没查过。