SEO基础知识

什么是robots协议,robots.txt文件如何写

字号+ 作者:长沙seo强 来源:未知 2018-05-15 16:44 我要评论( )

什么是robots.txt文件?robots.txt协议是什么?Robots(又称机器人、机器人协议等),全名为网络爬虫排除标准,作用就是网站通过Robots协议告诉搜索引擎蜘蛛哪些页面可以抓取,哪些页面不能抓

什么是robots.txt文件?robots.txt协议是什么?Robots(又称“机器人”、机器人协议等),全名为“网络爬虫排除标准”,作用就是网站通过Robots协议告诉搜索引擎蜘蛛哪些页面可以抓取,哪些页面不能抓取。
 
 
而放置这些协议的文件就是robots.txt文件,那么robots.txt文件到底有什么用呢?robots协议又该如何写?需要注意哪些问题?在本文会为大家详细说明。

robots协议
 
一、robots.txt文件的含义
 
前面有提到,这个文本文件承载着robots协议,它告诉所有搜索引擎本网站哪些页面可以被抓取,哪些页面禁止抓取。这样做有两方面的意义:
 
1.保护隐私。例如有些页面信息不想被外界看到,但搜索引擎又不知道哪些是隐私信息,它还是会照常抓取、展现。如果我们通过设置robots做了限制,搜索引擎蜘蛛就会放弃抓取,外界就不能通过搜索引擎了解到这些隐秘信息。
 
2.调节页面抓取量。我们都知道每个网站蜘蛛抓取的配额都是有限的,如果我们通过robots.txt文件禁止一些不重要的页面被抓取,那么就节约了配额,让那些重要的页面得到更多的抓取机会。
 
二、robots.txt文件的写法
 
robots协议针对的就是允许或者不允许,另外也可以设置具体的搜索引擎,认为正常情况下不用去区分搜索引擎,统一设置即可。
 
1、禁止所有搜索引擎访问网站
 
User-agent: *
 
Disallow: /
 
2、允许所有搜索引擎访问网站
 
User-agent: *
 
Allow: /
 
这是最基本的用法,robots协议的用法还有很多技术,建议大家去仔细阅读robots协议。
 
三、robots.txt文件相关注意事项
 
有朋友说我的网站没有什么要禁止抓取的,你就不要设置robots.txt文件了吧,理论上行得通。不过,建议,即便全部开放也最好设置一个robots文件,如本站的robots.txt文件:http://www.xxx.com/robots.txt。
 
四、robots.txt文件的位置
 
放在网站根目录下,在链接url的显示就是:http://www.xxx.com/robots.txt。
 
五、robots文件生成
 
有朋友提到有没有直接生产robots文件的工具,认为这完全没有必要,robots文件应该手动去具体设置,这样才能发挥robots.txt文件最大的作用。
 
总结:关于什么是robots协议,robots.txt文件如何写就分享到这里了,本文只是对robots.txt文件做了大体意义上的讲解,如果你对robots协议还不是很了解,可以联系小编,为你详细讲解。

网站部分内容转载自其他平台,如有侵权请联系删除

1.本站遵循行业规范,转载的原创稿件尽可能标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 文章更新频率对SEO相关影响是什么?

    文章更新频率对SEO相关影响是什么?

    2018-06-08 15:59

  • tag的正确用途是什么?

    tag的正确用途是什么?

    2018-06-07 14:20

  • SEO页面标题设置需要注意什么?

    SEO页面标题设置需要注意什么?

    2018-06-06 15:56

  • GZIP对SEO优化有什么影响

    GZIP对SEO优化有什么影响

    2018-06-06 15:55

企业网站优化