如何自行記錄 AI 爬蟲的造訪?
可以從網站日誌觀察爬蟲造訪;若網站使用 Cloudflare,也可在邊緣執行 Worker,擷取請求資訊,再送到自行指定的收集端。不過,以 User-Agent(UA)字串辨識,只能記下「自稱某種爬蟲」的請求,不能確認真實身分。以下實作說明依 iThome 範例整理;該文對 Cloudflare 行為的描述截至 2026 年 9 月 7 日,此處未重新核實目前規則。
先決定在哪裡記錄、要記哪些欄位
Semrush 建議從日誌追蹤 AI 爬蟲的造訪頻率與經常抓取的頁面。這能呈現抓取活動,但不宜直接據此推論平台重視某篇內容,更不能認定內容已被採用。
iThome 範例用 Cloudflare Worker 監測請求,將符合 UA 名單的請求整理成紀錄,再透過 HTTP POST 傳往收集端,不在 Worker 裡保存資料。記錄的欄位包括:
- 時間、辨識標籤與原始 UA,用來保留分類依據。
- 請求方法、主機名稱、路徑與查詢字串,用來辨認被抓取的位置。
- IP、國家,以及可取得的 ASN、組織、資料中心與已驗證機器人分類。
邊緣環境提供的欄位來自 request.cf。範例以空物件作為備用值,並將缺少的欄位值記為 null,避免執行環境未提供資訊時讀取失敗。
UA 比對適合起步,不是身分驗證
範例使用自行維護的名單,將 UA 轉成小寫後,檢查是否包含指定字串。例如 UA 中出現 GPTBot 就標記為 GPTBot,並未驗證來源 IP 或 ASN,因此冒用相同字串的請求也會被記錄。未符合名單的請求,則不會納入這份紀錄。
報表應將這些紀錄稱為「UA 命中的請求」,而非已確認的官方爬蟲造訪。即使保存了 verifiedBotCategory,該文也未交代如何判讀這個欄位,不應自行將它視為特定爬蟲的身分證明。
讓網站回應不必等待紀錄傳送完成
範例用 ctx.waitUntil() 將紀錄送往收集端,讓網站不必等這次 POST 完成就能回應訪客。程式也會捕捉傳送時發生的例外。依該文當時的描述,HTTP Worker 送出回應後,所有 waitUntil() 工作共用最多 30 秒的執行時間。
這個機制不保證紀錄一定送達:範例直接忽略傳送失敗的例外,因此不能把「網站正常回應」當成「紀錄已成功保存」。
先測試流程,再確認部署架構
可依範例用 wrangler dev 在本機測試,送入帶有 GPTBot UA 的請求,再檢查收集端是否收到預期欄位。這只能驗證比對與傳送流程,不能證明真正的爬蟲曾來訪;本機的 request.cf 資料也不能當成正式流量資訊。
為了避免請求繞回時重複記錄,範例會先檢查防重複處理的標頭。轉送請求前,則會複製 Request,再於複本中加入這個標頭。該文也警告,若源站本身是綁定 Route 的 Worker,直接疊加這個監測程式可能阻斷請求。因此,部署前須先確認架構,不能把範例視為通用配置。
自行記錄 AI 爬蟲造訪的網路各方意見
想進一步確認爬蟲身分,還需要做什麼?
可在 UA 比對之外,加入來源 IP 或 ASN 的身分驗證。iThome 提到一種做法是取得各家官方 IP 清單、定期更新,並在邊緣比對;這比單純比對字串需要更多工程。材料未提供完整驗證步驟或各家清單,因此不能把範例直接視為已完成驗證。
本機測試時,設定檔的相容日期怎麼填?
iThome 範例使用 Wrangler 在本機執行 Worker;設定檔中的 compatibility_date 應填入安裝的 Wrangler 版本實際支援的日期。文章作者曾因填入超過本機執行環境支援範圍的日期而無法啟動,因此遇到相容日期錯誤時,可先檢查版本與錯誤訊息。
為什麼不能直接修改收到的請求標頭?
依 iThome 範例的說明,傳入的 request.headers 是唯讀的,直接設定標頭會出錯。若要替轉送的請求加入防重複處理的印記,範例先用 new Request(request) 建立複本,再修改複本的標頭;這是該 Worker 實作中的處理方式。
參考資料
- How Do Technical SEO Factors Impact AI Search? [Study]www.semrush.com · 2026-01-05T15:12:00Z — 本文論述的參考來源。
- 靠人不如靠己:不到 90 行 Cloudflare Worker,親手榨出 AI 爬蟲的真實足跡ithelp.ithome.com.tw — 討論:想進一步確認爬蟲身分,還需要做什麼?;本機測試時,設定檔的相容日期怎麼填?


一起討論 0 則留言
你遇到什麼狀況?留下問題或實作經驗,一起找到下一步。
目前還沒有留言,歡迎開始第一個討論。