SEO必须知道的搜索引擎机器人

摘要

做SEO,你必须知道的这样搜索引擎机器人的特征码,你了解几个?

做SEO,你必须知道的这样搜索引擎机器人的特征码,你了解几个?

百度  Baiduspider-mobile:无线搜索

Baiduspider-image:图片搜索

Baiduspider-video:视频搜索

Baiduspider-news:新闻搜索

Baiduspider-favo:百度搜藏

Baiduspider-cpro:抓取百度联盟会员站点的网页以优化推广效果,只有您的网站加入百度联盟,才会被Baiduspider-cpro抓取

Baiduspider-sfkr:抓取参加百度竞价排名的网页以优化推广效果,只有您的网站参加了竞价排名或其他搜索营销服务,才会被Baiduspider-sfkr抓取

Baiduspider-mobile-gate:百度手机搜索

Baidu-Transcoder

BaiduCustomer:百度开始人工审核或者半人工审核你的站点内容,有可能在审查是你是否涉及到作弊或者恶意行为,更多的应该是一些商业利益,比如和他的竞价客户利益产生冲突之类的原因(只是猜测)。

Baidu-Thumbnail:百度快照

谷歌 Googlebot:抓取网页中的文字内容,

Googlebot-Mobile:抓取网页中的文字内容,用于Google的手机搜索

Googlebot-Image:抓取网页中的图片

Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense分析关键词,只有投放了Google Adsense的网页才会被Mediapartners-Google探测器抓取。

Adsbot-Google:抓取网页中的文字内容,用于Google Adwords提供参考,只有Google Adwords的目标网页才会被Adsbot-Google探测器抓取。

Feedfetcher-Google:如果用户在谷歌阅读器或Google主页订阅了你的博客,Google的FeedFetcher就会定时地随着Rss地址去找你的站点爬取Feed。

Mediapartners-Google :抓取网页确定 AdSense 的内容。只有在您的网站上展示 AdSense 广告的情况下,我们才会使用此漫游器来抓取您的网站。

搜狐搜狗 Sogou web robot

Sogou web spider

Sogou-Test-Spider

Sogou Orion spider

雅虎 Yahoo! Slurp:雅虎英文

Yahoo! Slurp China:雅虎中国

YahooFeedSeeker

Yahoo Blogs:雅虎博客蜘蛛

Yahoo Image:雅虎图片蜘蛛

Yahoo AD:雅虎广告蜘蛛

Yahoo ContentMatch Crawler:Yahoo 搜索竞价蜘蛛

Yahoo-MMCrawler:图片

搜搜 Sosospider:网页蜘蛛

Sosoblogspider:博客蜘蛛

Sosoimagespider:图片蜘蛛

有道 YoudaoBot

YodaoBot Image

YodaoBot-Reader

微软 MSNBot:主网页爬虫

MSNBot-Media:图片及其它媒体爬虫

MSNBot-NewsBlogs:新闻及blog爬虫

MSNBot-Products:产品及购物爬虫

MSNBot-Academic:学术搜索爬虫

admin