robots文件是网站建设运营过程中都要书写的权限协议,书写规范是很重要的一个环节,小编整理有如下几点:
1.所有页面都可以收录
User-agent: *
Disallow:
Allow:/
2.所有页面都不可以收录
User-agent: *
Disallow:/
3.只屏蔽百度蜘蛛
User-agent:BaiduSpider(Googlebot、、、、、)
Disallow:/
4.只让百度收录,屏蔽其它所有的搜索引擎
User-agent:BaiduSpider
Allow:
User-agent:*...
2016-04-20