AdSense爬虫访问受密码保护的页面
Crawler 是 Google 用来在数据库中抓取网页和索引页面的一段软件代码。 AdSense 抓取工具会检查您网页的内容，以便提供与您的内容相关的更好且相关的广告。 每个 AdSense 发布商都应该了解 AdSense 爬虫的基础知识，以便 产生更多收入 并了解如何解决某些 AdSense 问题。
推荐：WordPress广告插件Advanced Ads Pro+ addons
这是解释有关 AdSense 爬虫的详细信息以及为受密码保护的页面启用爬虫访问的文章。
- 谷歌使用不同的爬虫（也称为蜘蛛或机器人）用于不同的目的。 例如，用于网络搜索的爬虫、移动搜索、谷歌站长工具和 AdSense 是完全不同的。 您在您的 站长工具 帐户与您在 AdSense 帐户中看到的 AdSense 抓取工具错误无关。 这意味着解决 AdSense 抓取工具错误不会解决您的网站管理员工具帐户中显示的错误。 但谷歌在爬虫之间共享缓存，以避免每个爬虫尝试分别访问相同的内容并增加您网站的负载。
- AdSense 抓取工具每周更新一次抓取信息。 目前没有为发布者提供增加或减少抓取频率的选项。
- AdSense 抓取工具将每个域和子域视为不同的站点。 Example.com 和 www.example.com 被视为两个不同的站点。
- AdSense 抓取工具仅访问显示 AdSense 广告的网页，并且可以使用 robots.txt 文件阻止。 的情况下 重定向，首先访问原始页面以确保启用重定向，因此尽管广告显示在重定向页面上，但访问日志仍将显示原始页面的详细信息。
在受密码保护的网页上显示 AdSense 广告
AdSense 设置
通常使用密码保护页面以防止未经授权的访问。 例如，具有登录访问权限的会员内容通常受用户 ID 和密码保护。 AdSense 爬虫无法访问受密码保护页面背后的内容，因此尽管放置了 AdSense 广告代码，但广告不会显示在这些页面上。 为了克服这种情况，网站管理员需要提供对 AdSense 爬虫的访问权限，以便内容可以被索引并显示相关的广告。
- 登录您的 AdSense 帐户并点击齿轮图标以访问“设置”。
- 导航到“访问和授权”选项卡下的“爬虫访问”部分。
为了提供对 AdSense 抓取工具的访问权限，您应该在 Google 网站管理员工具帐户中添加并验证您的网站。 验证帐户后，单击添加登录按钮，如下图所示。
AdSense 抓取工具登录
您将看到一个弹出屏幕并要求填写详细信息。 假设您的站点中有一个付费会员部分，其结构如下：
AdSense 爬虫的登录页面访问示例
输入以下详细信息：
- 受限目录或 URL – 例如：yoursite.com/paidmembers
- 登录 URL – 例如：yoursite.com/paidmembers/login.php
只要有密码保护，登录页面和受保护的内容页面就是两个不同的页面。
- 登录方——发布
- 参数——用户名和密码
AdSense 抓取工具登录访问的输入
- 点击“测试登录”按钮，测试 AdSense 爬虫能否成功访问您的受保护网页。
- 单击“添加登录”以提供最终访问权限。
现在 AdSense 抓取工具可以抓取登录页面后面的内容并将其编入索引，并向访问者投放相关广告。
