南宁软件系统开发_安卓APP开发_APP开发公司-南宁明者科技

常见问题 / PROBLEM

首页常见问题

网站建设过程中robots.txt书写规范

时间:2016-04-20  浏览次数:1421  来源:www.nnmzkj.cn

robots文件是网站建设运营过程中都要书写的权限协议,书写规范是很重要的一个环节,小编整理有如下几点:


1.所有页面都可以收录
User-agent: *
Disallow:

Allow:/


2.所有页面都不可以收录
User-agent: *

Disallow:/


3.只屏蔽百度蜘蛛
User-agent:BaiduSpider(Googlebot、、、、、)

Disallow:/


4.只让百度收录,屏蔽其它所有的搜索引擎
User-agent:BaiduSpider
Allow:
User-agent:*

Disallow:/


5.禁止网站中的某个目录
User-agent:*
Disallow:/user/
Disallow:/wp-admin/
Disallow:/image/

Disallow:/css/


6.禁止wp-admin这个目录,但是又想让wp-admin下面的具体某个页面可以收录
User-agent:*
Allow:/wp-admin/zixun.html

Disallow:/wp-admin/


7.禁止访问/wenzhang/目录下面的所有html结尾的url链接
User-agent:*

Disallow:/wenzhang/*.html


8.禁止收录所有动态页面
User-agent:*

Disallow:/*?*


网站robots文件是网站优化的重要细节,我们应当给予重视。
我们专注中小型企业网站建设、高端app开发、网站运营推广、网站改版优化等业务!如有任何相关建站问题搞不懂的,可随时点击右侧在线客服,我们乐意为你解答!服务电话:18376020431 (微信号:lxy945231)
收缩