SEO基础知识

蓝冠2娱乐-首页

字号+ 作者:长沙seo强 来源:未知 2020-06-05 20:39 我要评论( )

蓝冠2娱乐-首页 在网站优化的过程中, 蓝冠2娱乐-首页 有时我们会有一些重要及私密的内容, 蓝冠2娱乐-首页 并不希望这些页面被搜索引擎蜘蛛抓取,比如后台的数据、测试阶段的网站,还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站

蓝冠2娱乐-首页在网站优化的过程中,蓝冠2娱乐-首页有时我们会有一些重要及私密的内容,蓝冠2娱乐-首页并不希望这些页面被搜索引擎蜘蛛抓取,比如后台的数据、测试阶段的网站,还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站按照各种条件过滤、筛选的页面等,那么要确保页面不被抓取需要使用robots文件。

robots

robots.txt是一个纯文本文件,我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分,蓝冠2娱乐-首页当蜘蛛访问一个站点时,它会先检查该站点是否有robots. txt文件,一般我们放在根目录下,如果找到,蜘蛛就会根据文件中的内容来确定要抓取的范围,如果这个文件不存在,那么蜘蛛就会继续沿着链接去抓取,也就是只有要禁止抓取某些内容时,写robots文件才有意义。

robots.txt通常我们放在站点的根目录,我们应该都知道根目录是什么意思,这里不多做解释,文件名要全部小写,如果你想查看网站的robots协议,直接在域名后面加上robots.txt回车即可,下面介绍robots的语法。

robots文件的常用语法有3种,分别是 User-agent、Alow、Disallow,下面是具体用法。

(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛,如果针对所有搜索引擎蜘蛛的写法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正确写法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名称也不相同。

(2) Allow
允许蜘蛛抓取某些文件,比如允许蜘蛛访问网站中的news目录,正确写法是:Allow:/news/。
$:表示匹配URL结尾的字符,比如允许蜘蛛抓取以.html为后缀的URL,写法是:Allow:html$。

(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录,比如禁止蜘蛛抓取/admin/目录的写法是:Disallow:/admin/。
而禁止的目录或文件也要分开写,每个单独一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录,正确的写法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

作为一名合格的SEO人员,我们还是要熟练掌握robots.txt的基本语法,现在站长工具也很方便,直接在线通过选项生成robots文件,再传上根目录即可。

网站部分内容转载自其他平台,如有侵权请联系删除

1.本站遵循行业规范,转载的原创稿件尽可能标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 亿宝娱乐-首页

    亿宝娱乐-首页

    2020-06-05 20:41

  • 黄金海岸3娱乐-首页

    黄金海岸3娱乐-首页

    2020-06-05 20:10

  • 菲洪娱乐-首页

    菲洪娱乐-首页

    2020-06-05 20:09

  • 奥贝娱乐-首页

    奥贝娱乐-首页

    2020-06-05 20:07

万词霸屏系统