robots.tex怎么写，robots的使用和写法详细诠释

饭桶公主博客之前并没有robots文本，后面考虑到不要分流权重，所以决定启动robots.tex，我想对于很多站长或者SEO工作者，robots是优化的一个重要步骤，目前虽然它的功能并未显现，不过确实也不能忽视。

robots的作用主要是减轻搜索引擎爬虫抓取你网站的的时候的负担，尽量不去抓取一些没用的东西，或者你不想被抓取的东西，可以减少重复收录，另外如果不同的链接指向相同的内容的时候，搜索引擎会误认为你的网站质量不高。

robots.tex怎么写

哪些地址不该被搜索引擎抓取呢，后台程序、FEED地址等。我们以zblog为例子

如果允许所有的搜索引擎并且访问网站全部，robots.tex可以为空

禁止访问某个目录写法如下：

禁止访问某个图片，写法如下（网站图片被百度“盗链”，那你的流量消耗会特别快，google还好一些，点击图片的时候会进入你的网站，给你导入一些IP，百度则是赤裸裸的盗链。）使用"*"限制访问url。

如果禁止访问某个文件夹下（A文件夹）的所有已.html结尾的页面，写法如下：

注意事项：

1. robots.txt应用小写的，它的文件要放在网站根目录下。
2. Disallow:该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robots访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问/help/index.html。