做SEO,你必须知道的这样搜索引擎机器人的特征码,你了解几个?
做SEO,你必须知道的这样搜索引擎机器人的特征码,你了解几个?
百度 Baiduspider-mobile:无线搜索
Baiduspider-image:图片搜索
Baiduspider-video:视频搜索
Baiduspider-news:新闻搜索
Baiduspider-favo:百度搜藏
Baiduspider-cpro:抓取百度联盟会员站点的网页以优化推广效果,只有您的网站加入百度联盟,才会被Baiduspider-cpro抓取
Baiduspider-sfkr:抓取参加百度竞价排名的网页以优化推广效果,只有您的网站参加了竞价排名或其他搜索营销服务,才会被Baiduspider-sfkr抓取
Baiduspider-mobile-gate:百度手机搜索
Baidu-Transcoder
BaiduCustomer:百度开始人工审核或者半人工审核你的站点内容,有可能在审查是你是否涉及到作弊或者恶意行为,更多的应该是一些商业利益,比如和他的竞价客户利益产生冲突之类的原因(只是猜测)。
Baidu-Thumbnail:百度快照
谷歌 Googlebot:抓取网页中的文字内容,
Googlebot-Mobile:抓取网页中的文字内容,用于Google的手机搜索
Googlebot-Image:抓取网页中的图片
Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense分析关键词,只有投放了Google Adsense的网页才会被Mediapartners-Google探测器抓取。
Adsbot-Google:抓取网页中的文字内容,用于Google Adwords提供参考,只有Google Adwords的目标网页才会被Adsbot-Google探测器抓取。
Feedfetcher-Google:如果用户在谷歌阅读器或Google主页订阅了你的博客,Google的FeedFetcher就会定时地随着Rss地址去找你的站点爬取Feed。
Mediapartners-Google :抓取网页确定 AdSense 的内容。只有在您的网站上展示 AdSense 广告的情况下,我们才会使用此漫游器来抓取您的网站。
搜狐搜狗 Sogou web robot
Sogou web spider
Sogou-Test-Spider
Sogou Orion spider
雅虎 Yahoo! Slurp:雅虎英文
Yahoo! Slurp China:雅虎中国
YahooFeedSeeker
Yahoo Blogs:雅虎博客蜘蛛
Yahoo Image:雅虎图片蜘蛛
Yahoo AD:雅虎广告蜘蛛
Yahoo ContentMatch Crawler:Yahoo 搜索竞价蜘蛛
Yahoo-MMCrawler:图片
搜搜 Sosospider:网页蜘蛛
Sosoblogspider:博客蜘蛛
Sosoimagespider:图片蜘蛛
有道 YoudaoBot
YodaoBot Image
YodaoBot-Reader
微软 MSNBot:主网页爬虫
MSNBot-Media:图片及其它媒体爬虫
MSNBot-NewsBlogs:新闻及blog爬虫
MSNBot-Products:产品及购物爬虫
MSNBot-Academic:学术搜索爬虫