你输入网站地址后,检测工具会从我们的服务器下载四个公开文件:你输入的页面、robots.txt、llms.txt 和站点地图。它不会执行 JavaScript,这和大多数 AI 爬虫一样,所以你看到的就是它们看到的网站。
对于 robots.txt,我们采用和机器人相同的规则(RFC 9309 标准):每个机器人只遵守写有自己名字的分组;如果没有,就遵守通用的「*」分组。因此,即使通用规则允许,某个机器人也可能被拦截,反之亦然。表格会逐个显示机器人能否访问,以及是文件中的哪一行决定的。
AI 机器人的用途各不相同。搜索类机器人(OAI-SearchBot、Claude-SearchBot 和 PerplexityBot)决定你能否出现在回答中,拦截它们就会被排除在外。训练类机器人(GPTBot、ClaudeBot、Google-Extended 和 CCBot)收集内容用于训练模型,拦截它们是正当的选择,不会让你从搜索回答中消失。由用户触发的机器人(ChatGPT-User、Claude-User 和 Perplexity-User)会在有人请求时访问特定页面;OpenAI 和 Perplexity 说明它们的这类机器人可能不遵守 robots.txt。
除了 robots.txt,我们还会检查其他可能把你挡在外面的因素:页面或 X-Robots-Tag 响应头中的 noindex、无 JavaScript 时 HTML 里几乎没有正文(常见于只用 React、Vue 或配置不当的可视化建站工具做的网站)、标题、描述、canonical、JSON-LD 结构化数据和站点地图。
llms.txt 只作为参考信息显示:它是一个向语言模型介绍网站的提案,但还没有大型搜索引擎确认使用它。有它不会让你出现,没有它也不会吃亏。
如果网站拦截了我们的服务器(防火墙、反机器人服务或 Cloudflare 返回 403 错误),结果会显示「无法验证」,而不是判定你的网站有问题,因为我们无法知道真实机器人看到了什么。我们不会保存你检测的网址,也不会把它发送到分析工具;结果只会缓存几个小时,以免重复下载同一个网站。
让 AI 推荐你的完整计划: 如何让ChatGPT和Perplexity推荐你的品牌
不会。根据 OpenAI 的说明,每个机器人是分开控制的:GPTBot 收集用于训练模型的内容,OAI-SearchBot 决定你能否出现在 ChatGPT 的搜索回答中。只要允许 OAI-SearchBot,即使拦截 GPTBot 也能继续出现。
表示这个机器人属于训练类。拦截它可以避免你的内容被用于训练模型,但不影响你在搜索回答中被引用,所以我们不把它算作错误:这是正当的选择。
因为你的服务器或 CDN 对检测工具返回了错误(例如 403)、响应超过 5 秒或没有响应。真实的机器人可能可以访问,也可能同样被拦截:请检查你的主机或 Cloudflare 的机器人设置。
不是必需的。它是一个引导语言模型的提案,但还没有大型搜索引擎确认使用它。请优先确保搜索类机器人可以访问,并且正文不依赖 JavaScript 也能读取。
不一定。AI 能读取你的网站是前提;能否被引用取决于你的内容、其他网站对你的提及以及你在该主题上的权威性。这个工具只能衡量前者。
不会保存到任何数据库,也不会发送到分析工具。结果只会在服务器缓存中保留几个小时,这样别人检测同一个网站时就不必再次下载。
Transforma是一个帮助您以清晰的方法创建、执行和扩展项目的培训项目。