搜索引擎限制文件robots.txt文件的作用及写法

2019年3月28日00:18:27 2 68

本文主要讲述robots.txt文件的作用以及指令

搜索引擎限制文件robots.txt文件的作用及写法

SEO

首先了解下robots.txt文件的作用

  1. 可以用它屏蔽网站内的死链接。
  2. 屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面(比如您创建了一个备用模板这时您就可以通过robots.txt文件来限制你的副模板)。
  3. 防止搜索引擎索引不该抓取的内容。譬如:限制搜索引擎不抓取admin目录。

所以我们建站建立robots.txt文件是很有必要的,如果网站中重复的内容和页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的权重,这样网站的排名就会下降。

其实robots.txt文件的基本语法只有两条,第一条是:User-agent,即搜索引擎蜘蛛的名称;第二条是:Disallow,即要拦截的部分。

下面来学习下撰写基本的robots.txt文件所需要知道的语法和作用,其实很简单的。

      1. 如果允许所有搜索引擎访问网站的所有内容;建立一个空白的文本文档,命名为robots.txt。robots.txt文件内容填写

    User-agent:*Allow:/

      1. 不允许所有搜索引擎访问网站的所有内容;同样建立一个空白的文本文档,命名为robots.txt;robots.txt文件内容填写

    User-agent:*Disallow:/

      1. 禁止百度搜索引擎索引您的站点

    User-agent:BaiduspiderDisallow:/

      1. 禁止Google搜索引起索引您的网站。

    User-agent:GooglebotDisallow:/

      1. 禁止除百度以外的一切搜索引擎索引您的站点。

    User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

      1. 禁止除Google以外的一切搜索引擎索引你的网站。

    User-agent:GooglebotDisallow:User-agent:*Disallow:/

      1. 禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

    User-agent:*Disallow:/admin/Allow:/images/

      1. 允许和禁止搜索引擎访问某个后缀,如:禁止访问admin目录下所有asp文件;允许访问php文件。

    User-agent:*Allow:/admin/*.php$Disallow:/admin/*.asp$

      1. 禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

    User-agent:*Disallow:/*?*

    好了本篇文章到这,其实指令很简单的 说白了就是User-agent:*Disallow:加限制的内容或者目录。多看几遍就都会啦祝您好运~
庆中华

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:2   其中:访客  2   博主  0

    • 1 1 0

      嘤嘤嘤

        • 嘤嘤嘤 嘤嘤嘤 0

          @1 1嘤嘤嘤