私人資料夾或 robots.txt 是否足以保護開發網站？

只把開發網站放進名為「私人」的資料夾，或用 robots.txt 禁止爬取，都不足以保護私人內容。關鍵是「私人」是否代表真正限制存取，而不只是資料夾名稱或沒有公開連結。Google 官方文件明確指出，robots.txt 無法強制所有檢索器遵守；若要保護伺服器上的私人檔案，應採用密碼保護等其他方式。若目的只是避免出現在搜尋結果，則還要區分禁止爬取與禁止索引。

資料夾名稱不等於存取權限

把測試頁面放進 private 資料夾，與禁止未獲授權者讀取，是兩件不同的事。名稱可以表達用途，卻不能取代保護機制。判斷重點不是網址看起來是否隱密，而是其他人能否取得其中的內容。

提供的論壇材料在這裡有不同說法：一則認為建立「私人」資料夾仍可能被 Google 找到；另一則認為 Google 無法取得，但附帶兩個條件：不在網路上放出連結，而且禁止其他人瀏覽。後者不能簡化成「不分享網址就安全」，也不能拿來證明單靠資料夾名稱便能保護網站。

robots.txt 管爬取，不是替網站上鎖

Google 官方說明，Googlebot 與部分可信任的檢索器會遵循 robots.txt，但不是所有檢索器都會照做，不同檢索器對語法的解讀也可能不同。因此，它適合表達爬取限制，不能當成保密內容的存取防線。

• 禁止爬取：要求遵守規則的檢索器不要抓取指定內容。
• 限制存取：透過密碼等方式，限制他人取得私人檔案。
• 控制索引：處理網址或頁面是否出現在搜尋結果，並不等同前兩者。

例如，開發頁面雖被 robots.txt 封鎖，其他網站卻連到該網址，Google 仍可能為網址建立索引，並在搜尋結果顯示網址或連結文字。這不代表 Google 已抓取被封鎖的內容，卻說明「沒有爬取」不等於「搜尋不到」。

先確定要保密，還是只要不被收錄

若開發網站含有不應公開的內容，應優先採用官方建議的密碼保護，而不是只靠隱藏路徑或 robots.txt。若頁面可以被存取，只是不希望出現在 Google 搜尋結果，官方列出的方式包括 noindex meta 標記或回應標頭；完全移除頁面也是另一種選擇。

這些措施處理的問題不同，不宜當成可以互換的開關。Google 也提醒，多個檢索與索引規則並用時，部分規則可能互相抵銷。保護開發站的起點，應是確認誰能讀取內容，再處理爬取與搜尋呈現，而不是以一份 robots.txt 代替全部保護。