什麼是Google AdSense抓取工具
爬蟲是一段軟體程式碼，用於收集網路上可用網頁的資訊並將其編入資料庫中。 谷歌有很多爬蟲來收集網路上不同類型的信息。 AdSense 爬蟲 Google 的爬蟲之一，用於收集網頁內容的詳細信息，以便在該頁面上投放相關廣告。 在本文中，我們將解釋有關 AdSense 爬蟲及其工作原理的更多詳細資訊。
AdSense 抓取工具
Google 使用 AdSense 爬蟲為那些顯示 AdSense 廣告的頁面編制索引。 這有助於提供相關廣告，並且不同於用於顯示搜尋引擎結果的網路爬蟲。 以下是谷歌使用的一些爬蟲：
爬蟲名稱（使用者代理程式） | 目的 |
| Google機器人 | 用於索引內容以顯示在 Google 網路搜尋結果中。 這也是用於智慧型手機的爬蟲。 |
| Google機器人圖片 | 用於索引圖像以顯示在 Google 圖像搜尋結果中。 |
| Googlebot 新聞 | 用於收集新聞提要以顯示在 Google 新聞搜尋結果中。 |
| Googlebot-影片 | 用於抓取網路上的影片以顯示在影片搜尋結果中。 |
| Googlebot-移動 | 用於功能手機上的 Google 行動搜尋。 |
| 媒體合作夥伴-Google | 用於索引網頁內容以顯示相關的Google AdSense 廣告。 |
AdSense 抓取工具的基礎知識
與抓取網路上所有頁面的 Googlebot 不同，以下是一些不同用途的 GoogleAdSense 抓取工具：
- AdSense 抓取工具只會嘗試抓取放置了廣告代碼的網頁。
- 您可以在「抓取工具存取」部分下從您的 AdSense 帳戶監控 AdSense 抓取工具錯誤並進行處理。 請記住，修正 AdSense 的抓取工具錯誤不會對 Google Search Console 中顯示的抓取工具錯誤產生任何影響，因為它們來自兩個不同的機器人。
- Google 不允許控制 AdSense 抓取工具的頻率。 頻率是自動的，任何更改的內容可能需要 1-2 週才能被編入索引。
- https://yoursite.com 和 https://www.yoursite.com 被視為兩個不同的站點，重定向的 URL 也會被抓取。
- AdSense 抓取工具遵循與所有其他 Google 漫遊器類似的 robots.txt 指令。
- 您也可以提供對您網站上受密碼保護的頁面的存取權以顯示廣告。 在此處了解更多。
使用 Robots.txt 控制 AdSense 抓取工具
在您的 robots.txt 檔案中使用以下指令來阻止 AdSense 抓取工具：
User-agent: Mediapartners-Google
Disallow: /您也可以阻止 Googlebot 以避免頁面顯示在搜尋結果中，同時允許 AdSense 爬蟲在網站上顯示廣告。