关于Robots协议

Robots协议

  Robots协议,又称为机器人协议,网站用来告知搜索引擎哪些页面可以被抓取,哪些页面不能被抓取的。体现在位于网站根目录下的robots.txt文件中,它并不是一个命令,只是一种国际上通行的规范,将网站的一些不能被抓取的文件或者目录,记录在robots.txt中,当搜索引擎的蜘蛛访问这个网站时候,首先就会去访问robots文件,得知不能被抓取目录和文件信息。

Robots协议实际上是君子协议,就如360就不遵守这个协议,今天就有新闻:“百度诉360不正当竞争案宣判:360赔偿70万