网站优化robots的注意事项

  1、如果你希望搜索引擎收录网站上所有的内容，那么就不要建立robots文件。

  2、如果同时存在动态和静态链接，那么建议屏蔽动态链接。

  3、robots只能是屏蔽站内文件的，对站外文件没有屏蔽功能。

  4、User-agent，Allow，Disallow，Sitemap的首字母都是大写的。

  5、User-agent，Allow，Disallow，Sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。

  6、网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。这样就会造成内链之间相互竞争，造成内部资源损耗。

  7、建议屏蔽js文件。Disallow: /*.js$，以 .js 结尾的路径统统被屏蔽，这样就屏蔽了js文件。

  8、路径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。

  9、robots.txt会暴露网站相关目录，写robots.txt时要考虑到这一点。