如何降低敏感資料被搜尋引擎發現的風險？

降低敏感資料被搜尋引擎發現的風險，重點是避免公開敏感內容、對必要的存取加上密碼保護，並減少網址與分享檔案中的資料外露，而不是只設定 robots.txt。提供材料明確區分了「阻止抓取」與「避免出現在搜尋結果」：即使禁止爬蟲抓取，網址仍可能因其他網站的連結而被索引。因此，敏感資料的保護應從存取限制開始，不能只靠搜尋可見性設定。

先限制存取，不要把 robots.txt 當密碼鎖

awoo 的 2018 年文章提出，可將敏感檔案或資料夾設為需要密碼才能存取。這類做法限制的是內容本身的取得，而不只是向爬蟲表達抓取意願。代價也很直接：一般使用者不能再直接瀏覽，因此較適合原本就不應公開的資料。

例如，內部報表若只供特定人員閱讀，應優先考慮受保護的存取方式，而不是維持公開網址，再期待爬蟲略過。這裡採用的是該歷史文章的存取保護建議，不延伸為任何現行搜尋平台的操作規則，也不作絕對安全保證。

禁止抓取，不等於網址不會被發現

Semrush 提供的文章指出，網址若有其他地方的連結，即使在 robots.txt 設定禁止抓取，Google 仍可能索引並顯示該網址。文章因此提醒，不應依賴這個檔案隱藏私人資料、內部報表或測試站。

• 不要把禁止抓取當成保密措施：設定存在，不代表搜尋結果一定不會出現網址。
• 不要在 robots.txt 寫入敏感內容：awoo 的 2025 年文章提醒，這本身就是公開檔案，規則與註解都不適合承載機密資料。

檢查網址參數與準備分享的檔案

資料外露不只發生在網頁正文。Semrush 標示為 2021 年的文章提醒，網址參數會被使用者看見，也可能由伺服器、分析平台、瀏覽器歷史與日誌記錄。因此，不應把個人資料放進網址參數；這是減少暴露管道的做法，不代表每筆參數都必然被搜尋引擎收錄。

分享匯出檔案也要另做檢查。Screaming Frog 在 2024 年介紹自訂程式片段庫時，特別提醒：以 JSON 匯出並分享程式庫前，要移除 API 金鑰等敏感資料。這項建議有明確情境，不宜擴大成所有檔案都含有金鑰；實務上的檢查重點，是確認待分享內容沒有夾帶不該交付的資訊。