SEO初学者必学网站robots.txt语法!

来源:怀化SEO博客 责任编辑:栏目编辑 发表时间:2013-07-01 04:11 点击:

 

怀化SEO回顾网站根目录下的robots.txt文件的语法应该怎样写?先不说robots.txt文件是用来干什么的,如果您对robots.txt文件有了解,知道robots.txt文件里的语法应该怎样写都是些什么意思,为什么要这样写,那么对您日后对网站SEO优化都有很大帮助的。比如您不想让你网站的某个文件或者文件夹被搜索引擎爬取,那么你可以用robots.txt文件禁止搜索引擎爬取,如果您发现你网站有死链接,那么也可以用robots.txt文件来屏蔽死链接,从而使得网站很友好。

更受搜索引擎的喜欢^_^ !

那么先说说robots.txt文件是什么吧!

robots.txt是一个纯文本文件,在robots.txt文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定SE只收录指定的内容。

当一个搜索机器人访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

补充说明一下,robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。这点请注意。

User-agent: *
Disallow:

以上文本表达的意思是允许所有的搜索机器人访问某站点下的所有文件。

具体语法分析:其中#后面文字为说明信息;

User-agent:后面为搜索机器人的名称,后面如果是*,则泛指所有的搜索机器人;

Disallow:后面为不允许访问的文件目录。

列举一些robots.txt的具体用法:

允许所有的robot访问

User-agent: *
Disallow:

或者也可以建一个空文件 “/robots.txt” file

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问(下例中的BadBot)

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的Crawler)

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

robots meta的介绍:

Robots META标签则主要是针对一个个具体的页面。

和其他的META标签(如使用的语言、页面的描述、关键词等)一样,

Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎robots如何抓取该页的内容。

Robots META标签的写法:

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。

?content部分有四个指令选项:index、noindex

    相关新闻>>

      发表评论
      请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
      用户名: 验证码:点击我更换图片
      最新评论 更多>>

      推荐热点

      • 12个影响SEO价格的常见因素
      • 从市场的角度思考网站建设
      • 网站优化之黑帽SEO
      • 行业站站长必备:如何提升行业网站影响力
      • 星际争霸运营与网站运营的思考
      • 乐讯刷机网全新改版 在线刷机更方便更放心
      • 网站优化:如何模拟不同带宽测试网页打开速度
      • 全站301重定性 避免带与不带www域名权重分散的几种方法
      • webkaka新增了几个网页优化工具:图片/CSS/JS压缩
      网站首页 - 友情链接 - 网站地图 - TAG标签 - RSS订阅 - 内容搜索
      Copyright © 2008-2015 计算机技术学习交流网. 版权所有

      豫ICP备11007008号-1