星恒设计出品

各搜索引擎蜘蛛介绍,搜索引擎蜘蛛爬取网站,抓取数据的规则

星恒网络2020-12-04 17:17:06行业资讯

各搜索引擎蜘蛛介绍,搜索引擎蜘蛛爬取网站,抓取数据的规则


1、百度蜘蛛:BaiduSpider


常见的Baiduspider和Baiduspider-image(抓取图片)


百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见


百度蜘蛛爬虫UA:


PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)


图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”


2、谷歌蜘蛛:Googlebot


有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的


谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”



3、360蜘蛛:360Spider


它是一个十分“勤奋抓爬”的蜘蛛


360蜘蛛爬虫UA:


Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);


4、搜狗蜘蛛:Sogou News Spider


搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)


搜狗蜘蛛爬虫UA:


“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”


5、必应蜘蛛:bingbot


必应蜘蛛爬虫UA:


“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”


6、SOSO蜘蛛:Sosospider


腾讯已玩死,交给搜狗公司了


soso蜘蛛爬虫UA:“Sosospider+(+http://help.soso.com/webspider.htm)”


7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)


雅虎蜘蛛爬虫UA:


雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”


雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”


8、MSN蜘蛛:msnbot,msnbot-media


重庆SEO好像只见到msnbot-media在狂爬……


MSN蜘蛛爬虫UA:*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)


文章关键词
蜘蛛模拟
模拟蜘蛛抓取