跳至主要內容
×

網站開放或封鎖各類爬蟲,有哪些風險與能見度取捨?

網站不宜把所有爬蟲一律開放或封鎖。搜尋索引、模型訓練與使用者委派代理的用途不同,應依內容價值與網站目標分別決定。開放能保留內容被搜尋、即時擷取與推薦的機會,卻不保證帶回點擊。全面封鎖可能犧牲曝光;全面開放則須承擔成本,以及內容使用和競爭風險。關鍵是允許哪種爬蟲讀取哪些內容,而不只是選擇開放或封鎖。

先分清用途,別把訓練與搜尋當成同一件事

Seer Interactive 在文章的 2026 年更新中,區分了用於模型訓練、AI 搜尋索引,以及代表使用者即時讀取頁面的爬蟲。這些用途需要分開評估:

  • 搜尋索引:若目標是讓內容被找到,封鎖相關爬蟲可能妨礙收錄與曝光。
  • 即時擷取:開放可讓代理讀取最新文章或商品資訊,但內容被讀取不等於網站獲得流量。
  • 模型訓練:須衡量讓模型使用內容進行學習的利弊,不能把開放訓練視為排名或推薦的保證。

同一家公司也可能使用用途不同的爬蟲。Seer 的更新列出 GPTBot、OAI-SearchBot 與 ChatGPT-User;不能僅因它們都來自 OpenAI,就認為它們有相同的存取需求。

品牌求曝光,內容業者還要衡量回流與內容資產風險

awoo 在 2026 年 9 月的文章中,從搜尋與生成式引擎最佳化的角度出發,原則上建議企業開放三類爬蟲。Seer 的 2026 年更新則反對全開或全擋,主張按內容類型決定。兩者提出的是不同的策略建議,都不是適用於所有網站的官方規則。

例如,公開的品牌介紹、價格與庫存資料,以及專有內容,涉及的法律與競爭風險並不相同。仰賴廣告的網站也須考慮:使用者若在 AI 答案中取得資訊,未必還會點進網站。Seer 同時提醒,資訊可能被錯誤呈現,或被歸於錯誤的來源。曝光並非只有好處,封鎖也不是沒有代價。

依內容區域設定限制,並檢查身分驗證與帳戶操作政策

Search Engine Journal 的文章建議,透過日誌觀察特定爬蟲是否集中造訪網站的某些區域。例如,爬蟲反覆讀取產品頁,可能表示這類內容資產對平台有價值。網站可據此評估更細緻的限制,而非只決定全站開放或封鎖。Seer 也提醒,User-Agent 名稱只是爬蟲自報的識別資訊,不能單憑名稱確認身分。

對於使用者委派、在登入後操作帳戶的代理,網站還須另外決定是否允許存取。Search Engine Journal 於 2026 年 6 月提出三種做法:歡迎代理、透過條款與技術控制封鎖代理,或提供合作 API。若選擇封鎖,須衡量可能流失部分使用者的代價;若選擇允許,則應讓自動存取條款、robots.txt 與存取控制彼此一致。這些是政策設計建議,不代表相關法律爭議已有定論。

主題的網路各方意見

只想封鎖訓練爬蟲,能確保搜尋爬蟲繼續通行嗎?

不一定。部分爬蟲同時用於搜尋與訓練,封鎖訓練用途時可能連帶影響搜尋曝光。以 Cloudflare 既有 zone 為例,2026 年 9 月的報導指出,若當時已啟用舊版 Block AI bots 設定,9 月 15 日後也會封鎖混合用途爬蟲。這是特定時期的設定變化,不應視為現行規則;使用這項設定前,應重新確認實際設定與紀錄。

開放訓練爬蟲能換來品牌曝光嗎?

開放可能增加品牌資料被用於模型訓練的機會,但不能保證品牌被引用或推薦。awoo 從品牌能見度出發,認為封鎖訓練可能削弱模型對品牌的基礎認識;Seer 則提醒,著作權、資料所有權與後續使用的問題仍未解決。重視曝光的企業可評估是否開放,但對專有內容,仍須另外衡量其法律與競爭風險。

按爬取收費能取代開放或封鎖嗎?

按爬取收費提供了比全面開放或封鎖更細緻的選項:網站可設定爬取條件,而不只是決定准許或禁止。Search Engine Journal 的作者認為,這類機制的重點在於讓網站決定是否同意爬取,以及如何控制存取,不應只看零星收入。是否適合仍取決於網站想對哪些內容設定條件,不能把收費視為曝光或收益的保證。

使用者委派代理無法操作帳戶時,應先檢查什麼?

先檢查網站的 robots.txt 或網路應用程式防火牆,是否預設封鎖了使用者實際採用的代理。這可能是使用者無法透過代理操作自己帳戶的原因。若網站希望允許代理存取,應確認自動存取條款與存取控制是否一致;若決定封鎖,也應明確說明,不要在未檢查預設設定的情況下,就讓它決定代理能否存取。

爬蟲政策同步功能適合所有網站嗎?

不一定。Search Engine Journal 於 2026 年 9 月建議,若三類設定足以涵蓋網站的政策,例如全面開放或禁止訓練,同步 robots.txt 可減少手動維護。不過,各公司的政策不同,三類設定未必能完整涵蓋;若無法符合需求,可考慮關閉同步並自行維護。功能與設定可能變動,使用前應確認目前的 robots.txt 檔案是否符合網站的實際政策。

參考資料

  1. Charging AI Bots Decides Which Agents Can Still Cite Youwww.searchenginejournal.com · 2026-07-25T19:00:19+00:00 — 討論:按爬取收費能取代開放或封鎖嗎?
  2. Cloudflare 新制下既有 zone 的 AI 自查清單ithelp.ithome.com.tw — 討論:只想封鎖訓練爬蟲,能確保搜尋爬蟲繼續通行嗎?
  3. Here’s Why You Should (Still) Allow GPTBot to Crawl Your Sitewww.seerinteractive.com · 2026-06-15T00:00:00-05:00 — 討論:開放訓練爬蟲能換來品牌曝光嗎?
  4. Cloudflare 2026 AI 爬蟲新政登場:網站主如何在 SEO 與 GEO 流量戰場取得主導權?www.awoo.ai · 2026-09-09T04:15:00+00:00 — 討論:只想封鎖訓練爬蟲,能確保搜尋爬蟲繼續通行嗎?;開放訓練爬蟲能換來品牌曝光嗎?
  5. Amazon Vs. Perplexity: The CFAA Case That Decides Whether AI Agents Can Visit Your Websitewww.searchenginejournal.com · 2026-06-01T00:56:10+00:00 — 討論:使用者委派代理無法操作帳戶時,應先檢查什麼?
  6. Should I Block AI Crawlers Or Measure Their Value First? – Ask An SEOwww.searchenginejournal.com · 2026-07-02T09:30:54+00:00 — 本文論述的參考來源。
  7. Cloudflare Will Write Your Robots.txt, And It Has A Pointwww.searchenginejournal.com · 2026-09-18T14:30:00+00:00 — 討論:爬蟲政策同步功能適合所有網站嗎?
把問題繼續聊下去

一起討論 0 則留言

你遇到什麼狀況?留下問題或實作經驗,一起找到下一步。

目前還沒有留言,歡迎開始第一個討論。

留下你的想法

← 繼續找答案
聊聊你的需求

從你的品牌開始聊。

告訴我你的網站,以及你希望達成的目標。

用 LINE 聊聊 tony@procrustes.info