Googlebots一览

来源:百度文库 编辑:16楼社区 时间:2021/05/09 16:01:21
Google的spider(爬虫)——Googlebot的相关原理,那么到底Google一共有多少种Googlebot呢?因为Google需要派出不同的类型的Googlebot来分析及抓取不同的网页内容。SERT的Phoenix整理出了一个列表,如下:
1.Googlebot(即普通抓取网页的Google爬虫)
2.MediaBot(用来分析投放了AdSense广告的网页。User Agent:"Mediapartners-Google")
3.ImageBot(用来分析图片,然后将结果提交到Google图片搜索。User Agent:"GoogleBot-Image")
4.AdsBot(用来检查AdWords的广告着陆页的质量。User Agent:"AdsBot-Google")
5.Feedfetcher-Google(用来抓取各种RSS Feed)
6.Generic Mobile Phone(移动版的Googlebot) (compatible;GooglebotMobile/2.1;+http://www.google.com/bot.html)
上面的列表不一定完整,因为应该还有一些没有被发现的,感兴趣的朋友请留意WMW上面的相关讨论。
其实这些bots才是真正的辛勤劳动者,日夜不停地来回奔跑,值得尊敬。当然,前提是它们对你家网站感兴趣。