在robots.txt中Disallow: /abc和Disallow: /abc/的区别

2017-05-26 建站知识 浏览 手机预览
文章来源:http://www.dedecmsok.com/html/n50.html

robots.txt的更多写法请跳转这里查看:
http://www.dedecmsok.com/html/n49.html


站长:不就是多了条斜杠吗,能有多大不同?

小编:很多新手站长搞不明白这其中的作用,其实作用区别很大的呦。


Disallow: /abc
表示禁止蜘蛛索引网站根目录下所有以abc开头的文件夹和文件

举例:

/abc.html
/abcde.php
/abc/123.html
/abc/def/123.html
/abc/def/
/abcde/abc/
等文件均不可索引,也就是说只要在网站根目录下以abc开头就禁止蜘蛛索引


Disallow: /abc/
表示禁止蜘蛛索引网站根目录的abc文件夹,以及abc文件夹下的文件
举例:
/abc/123.html
/abc/def/123.html
/abc/def/
不可被蜘蛛索引


简单一句话总结就是:一个属于针对,一个属于包含。

Disallow: /abc 禁止了根目录下所有以abc开头的文件夹和文件

Disallow: /abc/ 则只针对根目录下的abc文件夹以及abc文件夹下的子目录和文件


以下内容来自百度官方“百度搜索帮助中心-禁止搜索引擎收录的方法”

原文地址:http://help.baidu.com/question?prod_en=search&class=499


Disallow:该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被蜘蛛访问。

例如:Disallow:/help
意思是禁止蜘蛛访问
/help.html
/helpabc.html
/help/index.html


而Disallow:/help/
则允许蜘蛛访问
/help.html
/helpabc.html
但是不能访问/help/index.html

原文地址:http://www.dedecmsok.com/html/n50.html
  • 如果你的问题还没有解决,可以点击页面右侧的“ ”,站长收到问题后会尽快回复解决方案到你的邮箱。
  • 创造始于问题,有了问题才会思考,有了思考,才有解决问题的方法,才有找到独立思路的可能。 —— 陶行知