2026年8月20日 | SEO新聞 | 閱讀時間：8分鐘

41日實驗實證：JavaScript連結令AI爬蟲完全看不見你的頁面——香港網站技術SEO緊急警示

一個實驗，揭開AI搜尋引擎的技術盲點

2026年8月19日，Search Engine Land 發表了一篇震撼SEO業界的文章，來自巴西SEO代理商 LOCOMOTIVE 的副總監 Vinicius Stanula，以一場長達41日的實地實驗，首次量化證實了大多數人一直懷疑但沒有確鑿數據的事：

AI爬蟲（GPTBot、ClaudeBot、Bingbot、PerplexityBot 等）完全不執行JavaScript——如果你的網站內部連結依賴JS載入，AI搜尋引擎根本看不到那些頁面。

這不是理論推測，這是2,400頁網站、41天、來自真實伺服器日誌的硬數據。對於香港眾多以現代JavaScript框架（React、Vue、Next.js）建構的網站來說，這個發現極為重要。

實驗是怎樣做的？

Stanula 在一個他擁有的巴西商業分類目錄網站（約2,400頁）上進行了對照實驗：

實驗設計

網站有21個頂層分類，他將這些分類分成兩組：

組別頁數連結方式
HTML組（11個分類）約500+頁所有連結直接以 <a href="..."> 寫在原始HTML中
JS組（10個分類）約500+頁所有連結透過JavaScript在頁面載入後才注入，原始HTML中沒有任何連結

然後他在41日內記錄了所有爬蟲對這兩組頁面的請求。

結果——比預期更極端

Googlebot 只到達 JS 組的 2% 頁面。GPTBot、ClaudeBot、Bingbot、PerplexityBot、Meta的爬蟲、Amazon的爬蟲——全部找到零個 JS 連結頁面。

詳細數據如下：

Google 爬蟲群組：

  • Googlebot（建立搜尋索引的爬蟲）：只到達 JS 組的 2% 頁面
  • Google 的其他渲染爬蟲（非索引用）：有執行 JS，但其實它們的工作不是建立索引
  • 結論：實際上 Google 索引中 JS 頁面的比例接近零

其他所有 AI 爬蟲：

  • GPTBot（OpenAI/ChatGPT）：0%
  • ClaudeBot（Anthropic）：0%
  • Bingbot（Microsoft Bing）：0%
  • PerplexityBot（Perplexity）：0%
  • Meta’s crawler（Facebook/Instagram）：0%
  • Amazon’s crawler：0%

為什麼會這樣？——兩個根本原因

原因一：AI爬蟲的設計目標不同

Googlebot 之所以能渲染 JavaScript，是因為 Google 投入了巨大資源讓它搭載一個完整的 Chromium 瀏覽器引擎。但其他爬蟲的設計目標完全不同：

  • GPTBot 的目標是搜集文本內容來訓練模型，不是建立搜尋索引
  • ClaudeBot 和 PerplexityBot 同樣以文本擷取為主
  • 執行 JavaScript 需要大量的計算資源和時間，對這些爬蟲來說成本效益太低

原因二：「Google 渲染 JS」的迷思已經過時

多年來，SEO 業界的標準答案是「Google 會渲染 JavaScript」，但這個說法有兩個關鍵漏洞：

  1. Googlebot 不等於 Google 的所有爬蟲——Google 實際上有多種爬蟲，只有 Googlebot（用於建立搜尋索引的那個）會執行 JS，而實驗顯示即使是 Googlebot，也只到達了 JS 頁面的 2%
  2. AI 時代的爬蟲生態完全不同——今天的搜尋流量越來越多來自 ChatGPT、Claude、Perplexity、Copilot 等 AI 平台，它們的爬蟲完全不渲染 JS

對香港企業的具體影響

香港網站的JS使用情況

香港的網站開發生態中，JavaScript框架的使用率非常高：

  • 許多企業網站使用 React / Next.js 建構
  • Vue.js / Nuxt.js 在香港開發社群中也非常流行
  • 不少香港網站使用 SPA（單頁應用程式） 架構
  • 部分網站依賴 JavaScript 載入導航菜單、產品列表、分類頁面連結

如果你的網站有任何一種以下情況，就處於高風險之中：

🚨 高風險指標

風險等級特徵影響
🔴 極高導航菜單完全由JS生成，HTML中沒有 <a> 連結AI爬蟲完全無法發現導航下的任何頁面
🟠 高產品列表/分類頁使用JS分頁或按鈕載入深層產品頁完全消失
🟡 中部分內部連結使用JS事件監聽器（onclick）而非標準 <a>部分頁面遺失
🟢 低HTML中有完整的 <a>，但個別互動元素使用JS影響有限，仍建議修復

香港常見的受影響網站類型

  1. 餐飲業網站：JS載入菜單分類和分店列表
  2. 電子商務網站：JS載入產品篩選結果和分頁連結
  3. 地產網站：JS載入樓盤列表和搜尋結果
  4. 旅行社網站：JS載入行程選擇和價格比較
  5. 服務平台：JS載入服務目錄和團隊介紹

立即可以做的技術檢查

第一步：檢查你的網站是否存在JS連結問題

用這個簡單的方法檢查你的網站：

  1. 在Chrome瀏覽器中打開你的網站
  2. 右鍵 > 「檢視網頁原始碼」（View Page Source）——不是「檢查元素」（Inspect Element）
  3. 搜尋 href=" ——看看你的內部連結是否存在於原始HTML中
  4. 如果原始HTML中只有一個 <div id="root"></div> 或類似的空容器，然後所有內容都是透過JS載入的——你就有嚴重的可抓取問題

更徹底的方法：

# 用 curl 檢查網頁原始碼是否包含連結
curl -s https://你的網站.com | grep -c 'href="'

如果返回的數字遠低於你預期的頁面數，就代表很多連結被藏在了JS中。

第二步：使用「curl測試」檢查AI爬蟲能看到什麼

AI爬蟲的行為本質上類似 curl——它們讀取原始HTML，不執行JavaScript。所以這個測試非常準確：

curl -s -A "GPTBot/1.0" https://你的網站.com | grep -i 'href='

或者使用 Google Search Console 的「檢查網址」工具，查看 Googlebot 看到的頁面內容。

第三步：修復方案

短期修復（本週內可完成）：

  • ✅ 將關鍵導航連結改成伺服器端渲染（SSR）：確保所有主要內部連結在原始HTML中以標準 <a href="..."> 存在
  • ✅ 使用靜態生成（SSG）：Next.js 和 Nuxt.js 都支援靜態生成，在構建時就生成完整的 HTML
  • ✅ 添加HTML版的網站地圖：在 footer 中加入純 HTML 的網站地圖連結

長期架構調整：

  • 🔧 採用混合渲染策略：關鍵導航和內容使用伺服器端渲染，互動功能保留JS
  • 🔧 確保 <a> 元素永遠有真實的 href 屬性：即使需要JS增強功能，也應該保留標準的連結作為基礎
  • 🔧 使用 rel="prefetch" 或 <link rel="preload">：幫助爬蟲發現那些被JS隱藏的頁面

第四步：驗證修復效果

修復完成後，重複第一步的測試：

  1. 用 curl 或 View Page Source 檢查原始HTML中是否有了完整的連結結構
  2. 使用 Google Search Console 的「網址檢查」確認 Googlebot 可以看到所有頁面
  3. 考慮使用 Screaming Frog 等工具爬取你的網站，確保所有頁面都可被發現

不只是Google：AI搜尋生態的多元化挑戰

這場實驗最令人警醒的地方，在於它揭示了AI搜尋生態的技術碎片化。

當你的SEO策略只關注Google時，你可能忽略了一個正在快速增長的事實：越來越多搜尋流量來自不使用Googlebot的AI平台。

以下是主要AI平台及其使用的爬蟲：

AI平台使用的爬蟲執行JS？
Google Search（傳統）Googlebot✅ 會
Google AI Mode / AI OverviewsGooglebot + 其他Google爬蟲⚠️ 部分會
ChatGPT SearchGPTBot❌ 不會
Claude / AnthropicClaudeBot❌ 不會
PerplexityPerplexityBot❌ 不會
Microsoft Copilot / Bing AIBingbot❌ 不會
Meta AIMeta’s crawler❌ 不會

這意味著：即使你的網站在Google搜尋中排名良好，在ChatGPT、Claude或Perplexity的搜尋回應中，你的頁面可能完全不存在。

香港企業的行動清單

以下是你可以立即採取的具體行動：

🏃 緊急（本週內）

  • 執行 curl 測試：用上面的指令檢查你的網站原始HTML中是否有完整連結
  • 檢查關鍵頁面：你的首頁、服務頁、產品頁的內部連結是否在原始HTML中？
  • 修復導航菜單：如果導航菜單由JS生成，立即改成伺服器端渲染

📋 短期（兩週內）

  • 對所有模板進行審計：檢查網站每個頁面模板的原始HTML輸出
  • 為所有分頁連結添加HTML基礎：即使使用JS分頁，也確保有 <a href="..."> 作為基礎
  • 建立一份可抓取性報告：標記所有需要修復的頁面和元件

🔭 長期（季度檢討）

  • 將可抓取性納入開發流程：每次網站更新前，檢查原始HTML中的連結結構
  • 監控AI平台引薦流量：在Google Analytics中追蹤來自ChatGPT、Perplexity等平台的流量變化
  • 定期使用 Search Console 檢查索引覆蓋率：如果索引頁面數量突然下降，技術SEO問題可能是原因

總結

Vinicius Stanula 的41日實驗提供了一個我們無法忽視的技術警示：AI搜尋生態正在從「Google一家獨大」走向「多家AI平台並存」，而這些平台的爬蟲能力遠不如Googlebot。

對於香港企業來說，這意味著一個簡單但重要的技術SEO原則需要被重新強調：確保你的網站內容在「零JavaScript」的環境下仍然可存取、可連結、可導航。

這不是要你放棄JavaScript帶來的互動體驗，而是要建立一個「漸進增強」的網站架構——基本內容使用標準HTML，互動功能在HTML基礎上透過JS增強。這樣做不僅讓AI爬蟲可以發現你的所有頁面，也讓網站的可存取性和整體用戶體驗變得更好。

在AI搜尋時代，技術SEO的基本功比以往任何時候都更加重要。如果你的網站因為JS連結問題而被AI爬蟲完全忽略，再好的內容策略也無法發揮作用。

參考來源：

  • Search Engine Land — JavaScript links can make your pages invisible to AI search（2026年8月19日），作者 Vinicius Stanula
  • Search Engine Journal — How Google AIOs Use Facebook, Instagram & TikTok（2026年8月18日）