本週有兩則技術SEO新聞值得香港網站營運者特別留意，而且兩者都直接影響搜尋引擎能否順利抓取你的網站：
第一，Google 正式更新了 Crawl Budget（抓取配額）官方文檔，建議網站對未修改的頁面回傳 304 Not Modified 狀態碼，以節省 Googlebot 的抓取配額。
第二，有用家報告指 Cloudflare 的 AI 訓練爬蟲阻擋功能可能會意外封鎖 Googlebot，導致網站無法被索引。
以下逐一拆解，並提供香港品牌可以立即執行的行動建議。
1）304 狀態碼：最被低估的 Crawl Budget 節省工具
發生了什麼事？
Google 在 8 月初更新了 Crawl Budget 官方文檔，首次明確推薦網站透過 304 Not Modified HTTP 狀態碼來告訴 Googlebot：「這頁沒有變過，不用重新下載。」
簡單來說，當 Googlebot 再次抓取一個頁面時，如果你的伺服器判斷自上次抓取後內容沒有改變，就回傳一個 304 狀態碼（不含頁面內容），而不是 200 OK（連同完整頁面內容）。這讓 Googlebot 知道「一切如常，不必浪費配額」，同時仍然會更新索引中的最後抓取時間戳。
Crawl Budget 對大型網站尤其關鍵——如果 Googlebot 每天只有有限的抓取配額，把配額浪費在重複抓取沒有變化的頁面上，就意味著新頁面或更新頁面可能要等更久才被發現。
對香港企業的意義
香港很多企業網站有大量產品頁、服務頁、舊新聞稿或活動存檔，這些頁面可能在幾個月內都不會有任何變動。如果你沒有做 304 回應，Googlebot 每次來都會載入完整頁面，消耗你的 Crawl Budget。
實施 304 回應可以直接：
- 減少伺服器負載（尤其是流量大的網站）
- 讓 Googlebot 把配額留給你真正想被索引的新內容
- 提升 Googlebot 抓取效率，可能加快新頁面被發現的速度
如何實作
實作 304 回應需要你的伺服器支援 ETag 或 Last-Modified 標頭：
- 檢查伺服器目前是否已設定 ETag 或 Last-Modified — 多數 CDN 和 Nginx/Apache 預設會產生這些標頭。
- 確保 Googlebot 的 If-None-Match 或 If-Modified-Since 請求能被正確處理 — 當 Googlebot 帶著這些標頭來抓取時，伺服器要能判斷並回傳 304。
- 測試回應 — 使用 curl 或瀏覽器開發者工具，檢查靜態頁面是否正確回傳 304。
簡單測試方法： 在終端機執行
curl -I https://你的網址檢查回應中是否包含etag或last-modified標頭。然後執行curl -I -H 'If-None-Match: "你的etag值"' https://你的網址，看看是否收到304 Not Modified。
2）Cloudflare AI Bot 阻擋功能：方便但小心誤傷
發生了什麼事？
Cloudflare 在今年推出了「AI Bot 阻擋」功能，讓網站營運者可以一鍵封鎖已知的 AI 訓練爬蟲（如 OpenAI、Anthropic、Common Crawl 等），防止它們抓取網站內容用來訓練大型語言模型。
然而，有網站管理員報告，啟用這個功能後Googlebot 也受到影響，導致某些頁面無法被 Google 爬取和索引。雖然 Cloudflare 官方表示阻擋名單不會包含 Googlebot，但實際情況可能因為 IP 範圍重疊、CDN 快取規則衝突、或其他配置問題而出現誤封。
為什麼對香港網站很重要
香港很多中小企使用 Cloudflare 作為 CDN 和安全防護。如果你最近啟用了 AI Bot 阻擋功能，或者正在考慮啟用，你應該先確認 Googlebot 是否仍然可以正常訪問你的網站。
特別是如果你的網站在 Google Search Console 中出現「發現 - 但目前未索引」或「抓取異常」的情況，AI Bot 阻擋可能是元兇之一。
如何檢查與修復
- 在 Google Search Console 檢查抓取統計 — 前往「設定」>「抓取統計資料」，查看「主機連線時間」和「下載大小」有無異常變化。
- 使用 Google URL Inspection Tool — 檢查個別頁面是否可被 Googlebot 存取，查看回應碼是否為 200。
- 檢查 Cloudflare WAF 規則 — 如果你使用了自訂 WAF 規則阻擋 AI Bot，確認規則的條件判斷（User-Agent）沒有意外覆蓋到 Googlebot。
- 使用 Cloudflare 的 Analytics 查看阻擋記錄 — 在 Security Events 中搜尋 Googlebot 相關的 User-Agent，確認它沒有被攔截。
對香港企業的綜合行動清單
把本週兩項技術SEO重點化為實際行動：
- ✅ 設定 304 回應： 檢查伺服器是否有正確的 ETag/Last-Modified 實作，確保未修改頁面回傳 304 以節省 Crawl Budget。
- ✅ 優先優化「真正重要」的頁面： 確認新產品頁、服務頁、Blog 文章能最快被 Googlebot 抓到，而不是讓 Crawl Budget 耗在沒變過的舊頁面。
- ✅ 驗證 Cloudflare AI Bot 阻擋未誤殺： 最近啟用過 AI Bot 阻擋的朋友，立即用 URL Inspection Tool 確認 Googlebot 仍可存取你的重點頁面。
- ✅ 監測 Search Console Crawl Stats： 每週查看「主機下載 KB」和「平均回應時間」，如果突然下降，可能是 Googlebot 被限制了。
- ✅ 兩者結合的威力： 做了 304 回應讓 Crawl Budget 更有效率，再加強確認 Cloudflare 沒有誤擋 Googlebot——這樣你的網站才能獲得最大的抓取覆蓋。
總結
本週的 SEO 焦點不在內容或連結，而是回到最基礎的技術層面。Google 更新 Crawl Budget 文檔是一個低調但重要的訊號——它提醒我們，在高興於 AI 搜尋、生成式引擎之前，先確保搜尋引擎能夠有效地抓取你的網站。
同時，Cloudflare AI Bot 阻擋雖然是保護內容的好工具，但每一個「方便」的設定都可能有意外的副作用。在香港這個 Cloudflare 使用率極高的市場，這點尤其值得關注。
如果你對上述任何操作需要協助，歡迎聯絡 SEOMarketing HK 的技術團隊——我們專注於協助香港企業做好技術SEO，讓你的網站不只被看到，更被正確地索引和理解。