你輸入網站位址後,檢測工具會從我們的伺服器下載四個公開檔案:你輸入的頁面、robots.txt、llms.txt 和網站地圖。它不會執行 JavaScript,這和大多數 AI 爬蟲一樣,所以你看到的就是它們看到的網站。
對於 robots.txt,我們採用和機器人相同的規則(RFC 9309 標準):每個機器人只遵守寫有自己名稱的群組;如果沒有,就遵守通用的「*」群組。因此,即使通用規則允許,某個機器人也可能被封鎖,反之亦然。表格會逐一顯示機器人能否存取,以及是檔案中的哪一行決定的。
AI 機器人的用途各不相同。搜尋類機器人(OAI-SearchBot、Claude-SearchBot 和 PerplexityBot)決定你能否出現在回答中,封鎖它們就會被排除在外。訓練類機器人(GPTBot、ClaudeBot、Google-Extended 和 CCBot)收集內容用於訓練模型,封鎖它們是正當的選擇,不會讓你從搜尋回答中消失。由使用者觸發的機器人(ChatGPT-User、Claude-User 和 Perplexity-User)會在有人要求時造訪特定頁面;OpenAI 和 Perplexity 說明它們的這類機器人可能不遵守 robots.txt。
除了 robots.txt,我們還會檢查其他可能把你擋在外面的因素:頁面或 X-Robots-Tag 回應標頭中的 noindex、無 JavaScript 時 HTML 裡幾乎沒有內文(常見於只用 React、Vue 或設定不當的視覺化架站工具做的網站)、標題、描述、canonical、JSON-LD 結構化資料和網站地圖。
llms.txt 只作為參考資訊顯示:它是一個向語言模型介紹網站的提案,但還沒有大型搜尋引擎確認使用它。有它不會讓你出現,沒有它也不會吃虧。
如果網站封鎖了我們的伺服器(防火牆、反機器人服務或 Cloudflare 回傳 403 錯誤),結果會顯示「無法驗證」,而不是判定你的網站有問題,因為我們無法知道真實機器人看到了什麼。我們不會儲存你檢測的網址,也不會傳送到分析工具;結果只會快取幾個小時,以免重複下載同一個網站。
讓 AI 推薦你的完整計畫: 如何讓ChatGPT和Perplexity推薦你的品牌
不會。根據 OpenAI 的說明,每個機器人是分開控制的:GPTBot 收集用於訓練模型的內容,OAI-SearchBot 決定你能否出現在 ChatGPT 的搜尋回答中。只要允許 OAI-SearchBot,即使封鎖 GPTBot 也能繼續出現。
表示這個機器人屬於訓練類。封鎖它可以避免你的內容被用於訓練模型,但不影響你在搜尋回答中被引用,所以我們不把它算作錯誤:這是正當的選擇。
因為你的伺服器或 CDN 對檢測工具回傳了錯誤(例如 403)、回應超過 5 秒或沒有回應。真實的機器人可能可以存取,也可能同樣被封鎖:請檢查你的主機或 Cloudflare 的機器人設定。
不是必要的。它是一個引導語言模型的提案,但還沒有大型搜尋引擎確認使用它。請優先確保搜尋類機器人可以存取,並且內文不依賴 JavaScript 也能讀取。
不一定。AI 能讀取你的網站是前提;能否被引用取決於你的內容、其他網站對你的提及以及你在該主題上的權威性。這個工具只能衡量前者。
不會儲存到任何資料庫,也不會傳送到分析工具。結果只會在伺服器快取中保留幾個小時,這樣別人檢測同一個網站時就不必再次下載。
Transforma是一個幫助您以清晰的方法創建、執行和擴展專案的培訓計畫。