robots协议的详细写法

　　robots协议是什么？

　　简单的说它是指网站定一个协议，告诉spider哪些内容可以访问，哪些内容不允许访问。它是一个纯文本，格式是robots.txt。

　　那么这个文件一般放在网站的根目录，当spider 访问你网上的时候它最先是访问robots.txt 这个文件，去看看哪些是禁止访问的。

　　下面我们就来举例说明：

　　1. 允许所有的访问

　　User-agent:*

　　Allow: /

　　注：“*”这个星号表示一个通配符。

　　2. 禁止所有搜索引擎访问网站的任何部分

　　User-agent: *

　　Disallow: /

　　3. 仅禁止Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow: /

　　4. 仅允许Baiduspider访问您的网站

　　User-agent: Baiduspider

　　Disallow:

　　5. 禁止spider访问特定目录

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　6. 允许访问特定目录中的部分url

　　User-agent: *

　　Allow: /cgi-bin/see

　　Allow: /tmp/hi

　　Allow: /~joe/look

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　7. 使用”*”限制访问url

　　禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。

　　User-agent: *

　　Disallow: /cgi-bin/*.htm

　　8. 使用”$”限制访问url

　　仅允许访问以”.htm”为后缀的URL。

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　例9. 禁止访问网站中所有的动态页面

　　User-agent: *

　　Disallow: /*?*

　　10. 禁止Baiduspider抓取网站上所有图片

　　仅允许抓取网页，禁止抓取任何图片。

　　User-agent: Baiduspider

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　11. 仅允许Baiduspider抓取网页和.gif格式图片

　　允许抓取网页和gif格式图片，不允许抓取其他格式图片

　　User-agent: Baiduspider

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　12. 仅禁止Baiduspider抓取.jpg格式图片

　　User-agent: Baiduspider

　　Disallow: .jpg$

　　注意：robots.txt是有分大小写的，默认文件名全小写，规则里面要注意区分大小写，比如禁止http://lbicc.com/Abc.html，在规则里写成abc.html的话那就没效果了，只会禁止abc.html，Abc.html还是有效。

　　除非注明，文章均为重庆SEO原创，转载请注明本文地址：http://www.lefengseo.com/231.html