AeoBot 爬蟲說明

最後更新：2026-08-20

AeoBot 是什麼

AeoBot 是 AEO Hub 用來讀取網頁、評估 AI 搜尋友善度的程式。 它只在使用者主動輸入網址並要求檢測時才會抓取， 不會自行巡迴網際網路，也不會持續回訪。

識別方式

單次檢測會做什麼

• 讀取 robots.txt，確認是否被允許
• 讀取使用者指定的那一個網址
• 讀取 llms.txt 與 sitemap.xml（若存在）

單次檢測的請求數與總時間都有上限，且同一網址的結果會被快取、同一網域每小時的檢測次數亦有上限， 以避免對目標網站造成負擔。

如何拒絕本服務掃描

在您網站的 robots.txt 加入下列規則即可。 我們會在每次檢測前讀取並遵守：

User-agent: AeoBot
Disallow: /

設定後，本服務會拒絕對貴站的檢測要求， 並自動將貴站從公開的友善網站目錄中移除，不需另外申請。

若您無法編輯 robots.txt， 請透過聯絡表單與我們聯繫， 我們會手動處理移除。

關於通用規則

AeoBot 不會因為 User-agent: * 的通用 Disallow 而拒絕檢測。 原因是這類檢測由使用者主動觸發、且只讀取單一頁面，性質接近 PageSpeed Insights 等診斷工具， 而非持續性爬蟲。若您希望明確拒絕本服務，請使用上方針對 AeoBot 的規則。