ChatGPT、Claude 和 Perplexity 能讀取你的網站嗎?

我們會檢查你的 robots.txt、llms.txt、網站地圖和你輸入的頁面。不會儲存網址。

檢測工具如何運作

你輸入網站位址後,檢測工具會從我們的伺服器下載四個公開檔案:你輸入的頁面、robots.txt、llms.txt 和網站地圖。它不會執行 JavaScript,這和大多數 AI 爬蟲一樣,所以你看到的就是它們看到的網站。

對於 robots.txt,我們採用和機器人相同的規則(RFC 9309 標準):每個機器人只遵守寫有自己名稱的群組;如果沒有,就遵守通用的「*」群組。因此,即使通用規則允許,某個機器人也可能被封鎖,反之亦然。表格會逐一顯示機器人能否存取,以及是檔案中的哪一行決定的。

AI 機器人的用途各不相同。搜尋類機器人(OAI-SearchBot、Claude-SearchBot 和 PerplexityBot)決定你能否出現在回答中,封鎖它們就會被排除在外。訓練類機器人(GPTBot、ClaudeBot、Google-Extended 和 CCBot)收集內容用於訓練模型,封鎖它們是正當的選擇,不會讓你從搜尋回答中消失。由使用者觸發的機器人(ChatGPT-User、Claude-User 和 Perplexity-User)會在有人要求時造訪特定頁面;OpenAI 和 Perplexity 說明它們的這類機器人可能不遵守 robots.txt。

除了 robots.txt,我們還會檢查其他可能把你擋在外面的因素:頁面或 X-Robots-Tag 回應標頭中的 noindex、無 JavaScript 時 HTML 裡幾乎沒有內文(常見於只用 React、Vue 或設定不當的視覺化架站工具做的網站)、標題、描述、canonical、JSON-LD 結構化資料和網站地圖。

llms.txt 只作為參考資訊顯示:它是一個向語言模型介紹網站的提案,但還沒有大型搜尋引擎確認使用它。有它不會讓你出現,沒有它也不會吃虧。

如果網站封鎖了我們的伺服器(防火牆、反機器人服務或 Cloudflare 回傳 403 錯誤),結果會顯示「無法驗證」,而不是判定你的網站有問題,因為我們無法知道真實機器人看到了什麼。我們不會儲存你檢測的網址,也不會傳送到分析工具;結果只會快取幾個小時,以免重複下載同一個網站。

讓 AI 推薦你的完整計畫: 如何讓ChatGPT和Perplexity推薦你的品牌

常見問題

封鎖 GPTBot 會讓我從 ChatGPT 中消失嗎?

不會。根據 OpenAI 的說明,每個機器人是分開控制的:GPTBot 收集用於訓練模型的內容,OAI-SearchBot 決定你能否出現在 ChatGPT 的搜尋回答中。只要允許 OAI-SearchBot,即使封鎖 GPTBot 也能繼續出現。

被封鎖的機器人顯示「由你決定」是什麼意思?

表示這個機器人屬於訓練類。封鎖它可以避免你的內容被用於訓練模型,但不影響你在搜尋回答中被引用,所以我們不把它算作錯誤:這是正當的選擇。

為什麼顯示「無法驗證」?

因為你的伺服器或 CDN 對檢測工具回傳了錯誤(例如 403)、回應超過 5 秒或沒有回應。真實的機器人可能可以存取,也可能同樣被封鎖:請檢查你的主機或 Cloudflare 的機器人設定。

我需要 llms.txt 嗎?

不是必要的。它是一個引導語言模型的提案,但還沒有大型搜尋引擎確認使用它。請優先確保搜尋類機器人可以存取,並且內文不依賴 JavaScript 也能讀取。

如果全部通過,ChatGPT 就會推薦我嗎?

不一定。AI 能讀取你的網站是前提;能否被引用取決於你的內容、其他網站對你的提及以及你在該主題上的權威性。這個工具只能衡量前者。

你們會儲存我檢測的網址嗎?

不會儲存到任何資料庫,也不會傳送到分析工具。結果只會在伺服器快取中保留幾個小時,這樣別人檢測同一個網站時就不必再次下載。

培訓計畫

準備好將您的想法轉化為真實專案了嗎?

Transforma是一個幫助您以清晰的方法創建、執行和擴展專案的培訓計畫。

了解Transforma計畫