GEO / AI 搜索
放AI爬虫进来，别把自己挡在AI答案外面
大量独立站不是内容不行，是被自己的 robots.txt 或 CDN 开关挡在了 AI 答案外面——花十分钟把训练抓取和搜索抓取分开放行，是 GEO 里性价比最高的一次操作。
这篇讲清楚各家 AI 爬虫的分类和作用，教你用三个地方排查自己是否被静默拦截，并给出可直接粘贴的 robots.txt 片段和 Shopify 落地方法。
一句话结论：大量独立站不是内容不行，是被自己的 robots.txt 或 CDN 开关挡在了 AI 答案外面——花十分钟把"训练抓取"和"搜索抓取"分开放行，这是 GEO 里性价比最高的一次操作。
本课内容
- 挡住你的往往不是算法，是那一行 Disallow
- 三类爬虫，别混着谈
- 先查自己有没有被挡：三个地方
- 可直接粘贴的 robots.txt 片段
- 一条让 AI 自查 robots.txt 的提示词
- 挡还是不挡：一次说清取舍
- 要点总结
- 动手清单
本课要点
- AI 爬虫不是一个东西：训练抓取、搜索索引、用户实时取页，三类分开控制。
- 挡 GPTBot 不会让你从 ChatGPT 搜索消失，消失是 OAI-SearchBot 管的；Google-Extended 也不影响 Google 排名。
- 先查三处：GSC robots 报告、服务器日志按 UA 过滤、CDN / WAF 的 AI 拦截开关。
- CDN 优先级高于 robots.txt，两边打架时以 CDN 为准。
- Shopify 改 robots.txt.liquid，能加 UA 规则，改不了系统路径。
- 亚马逊侧改不了平台 robots.txt，但你的品牌站必须放行，且官网信息要与亚马逊 Listing 口径一致。
- 改完让 AI 自查一遍，并要求它抓不到就说抓不到。