修复 Google Adsense 漫游器被拒绝的错误

最近登陆 Google Adsense 后台,发现评分卡中收入评分很低,其中抓取工具错误很严重,这个错误的意思是 Google Adsense 的抓取工具无法访问我们网站的网页,因此无法确定其内容并展示相关广告。在这种情况下,Google Adsense 只能展示低收入和低覆盖率的广告,甚至会展示点击率较低的不相关广告。

所以要确保网站能够展示更多相关的广告,以便增加广告收入,那么就要解决这个问题,抓取工具错误主要分成漫游器被拒绝和找不到网页的错误。

找不到网页的错误是因为网站有一些死链,找他们修正就好了。

而漫游器被拒绝这个错误经过分析,是因为我们在对网站进行 SEO 的时候,在 robots.txt 文件中禁止爬虫对一些页面或者目录的浏览,但是这个禁止是针对所有的爬虫,这样也伤及无辜把 Google Adsense 的爬虫也屏蔽了,造成了漫游器拒绝的错误。

经过搜索,发现 Google Adsense 的爬虫是:Mediapartners-Google,我们只要针对这个爬虫,放开所有页面抓取的权限即可,在 robots.txt 文件中添加如下代码:

User-agent: Mediapartners-Google 
Disallow:

热门文章