什么是Google AdSense抓取工具
爬虫是一段软件代码，用于收集互联网上可用网页的信息并将其编入数据库中。 谷歌有很多爬虫来收集网络上不同类型的信息。 AdSense 爬虫 Google 的爬虫之一，用于收集网页内容的详细信息，以便在该页面上投放相关广告。 在本文中，我们将解释有关 AdSense 爬虫及其工作原理的更多详细信息。
推荐：如何修复Windows Asana无法正常工作加载
AdSense 抓取工具
Google 使用 AdSense 爬虫为那些显示 AdSense 广告的页面编制索引。 这有助于提供相关广告，并且不同于用于显示搜索引擎结果的网络爬虫。 以下是谷歌使用的一些爬虫：
爬虫名称（用户代理） | 目的 |
| 谷歌机器人 | 用于索引内容以显示在 Google 网络搜索结果中。 这也是用于智能手机的爬虫。 |
| 谷歌机器人图片 | 用于索引图像以显示在 Google 图像搜索结果中。 |
| Googlebot 新闻 | 用于收集新闻提要以显示在 Google 新闻搜索结果中。 |
| Googlebot-视频 | 用于抓取网络上的视频以显示在视频搜索结果中。 |
| Googlebot-移动 | 用于功能手机上的 Google 移动搜索。 |
| 媒体合作伙伴-谷歌 | 用于索引网页内容以显示相关的 Google AdSense 广告。 |
AdSense 抓取工具的基础知识
与抓取网络上所有页面的 Googlebot 不同，以下是一些不同用途的 GoogleAdSense 抓取工具：
- AdSense 抓取工具只会尝试抓取放置了广告代码的网页。
- 您可以在“抓取工具访问”部分下从您的 AdSense 帐户监控 AdSense 抓取工具错误并进行处理。 请记住，纠正 AdSense 的抓取工具错误不会对 Google Search Console 中显示的抓取工具错误产生任何影响，因为它们来自两个不同的机器人。
- Google 不允许控制 AdSense 抓取工具的频率。 频率是自动的，任何更改的内容可能需要 1-2 周才能被编入索引。
- https://yoursite.com 和 https://www.yoursite.com 被视为两个不同的站点，重定向的 URL 也会被抓取。
- AdSense 抓取工具遵循与所有其他 Google 漫游器类似的 robots.txt 指令。
- 您还可以提供对您网站上受密码保护的页面的访问权限以显示广告。 在此处了解更多信息。
使用 Robots.txt 控制 AdSense 抓取工具
在您的 robots.txt 文件中使用以下指令来阻止 AdSense 抓取工具：
User-agent: Mediapartners-Google
Disallow: /您还可以阻止 Googlebot 以避免页面显示在搜索结果中，同时允许 AdSense 爬虫在网站上展示广告。
