最准确的各大搜索引擎蜘蛛名称写法

2017-05-26 建站知识 浏览 手机预览
文章来源:http://www.dedecmsok.com/html/n51.html

蜘蛛名称要区分大小写!!!蜘蛛名称要区分大小写!!!蜘蛛名称要区分大小写!!!(重要事情说三遍)


关于搜索引擎抓取规则、robots.txt的写法大全,请看这里:
http://www.dedecmsok.com/html/n49.html

1、百度蜘蛛:Baiduspider

网上的资料百度蜘蛛名称有BaiduSpider、baiduspider等,那都是以前的旧版写法。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下的图片蜘蛛,是抓取图片的蜘蛛。

常见百度旗下同类型蜘蛛还有这些:
网页搜索 Baiduspider
无线搜索 Baiduspider
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
竞价蜘蛛 Baiduspider-sfkr

2、谷歌蜘蛛:Googlebot
这个争议较少。

3、360蜘蛛:360Spider
它是一个很“勤奋”的蜘蛛,不停地爬来爬去。

4、SOSO蜘蛛:Sosospider
也可为它颁一个“勤奋抓爬”奖。

5、雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
名称中带“Slurp”和空格,名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述,不知道有效无效,有待各位站长证实。

6、有道蜘蛛:YoudaoBot,YodaoBot
两个名字都有,中文拼音少了个U字母,读音差别很大,(ps:这都能少?)

7、搜狗蜘蛛:Sogou News Spider
搜狗蜘蛛还包括如下这些产品:
Sogou web spider
Sogou inst spider
Sogou spider2
Sogou blog
Sogou News Spider
Sogou Orion spider
参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效。
让我们来看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。
Sogou web spider
Sogou inst spider
Sogou spider2
Sogou blog
Sogou News Spider
Sogou Orion spider
目前6个,名称都带空格,线上常见"Sogou web spider/4.0" ;"Sogou News Spider/4.0" ;"Sogou inst spider/4.0" 可以为它颁个“最多名称”奖。

8、MSN蜘蛛:msnbot,msnbot-media

只见到msnbot-media在狂爬……一直爬、一直爬、不曾停下脚步。。。

9、必应蜘蛛:bingbot

线上(compatible; bingbot/2.0;)

10、一搜蜘蛛:YisouSpider

11、Alexa蜘蛛:ia_archiver

12、宜sou蜘蛛:EasouSpider

13、即刻蜘蛛:JikeSpider


根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取,这样可以缓解服务器压力。至于哪些蜘蛛抓取对网站能带来有利用的价值,网站的管理者眼睛可是雪亮的。

另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛,据说这些都是进口蜘蛛,对中文网站用处很小。那不如就节省资源吧。

原文地址:http://www.dedecmsok.com/html/n51.html
  • 如果你的问题还没有解决,可以点击页面右侧的“ ”,站长收到问题后会尽快回复解决方案到你的邮箱。
  • 创造始于问题,有了问题才会思考,有了思考,才有解决问题的方法,才有找到独立思路的可能。 —— 陶行知