轻松配置网站Robots.txt文件
作者:佚名 来源:互联网 时间:2009-01-15 09:12:00
核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?
让我们看一个例子:
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
有#号的都是注释,方便阅读。
User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。
编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。
如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。
好了,现在就去设置你的robots.txt文件吧。
标签:
0
投稿
猜你喜欢
解密DDoS攻击 “缓存溢出”新变形
2009-12-24 14:22:00
dede设置会员登录后COOKIE保存时间
2009-02-13 18:01:00
怎样将seo融入到编辑的日常工作中
2007-09-13 18:26:00
SEO单个网页的最优化操作
2009-02-16 17:36:00
传分众传媒董事长江南春将出任央视三维CEO
2009-10-16 10:03:00
教您在LINUX中架设代理服务器
2008-10-13 16:50:00
当当选择中庸渐进:折中式战术实现网站盈利
2009-10-10 08:29:00
老白SEO浅谈如何通过软文实现网络销售
2009-10-28 13:28:00
08年我怎么样做好垃圾站的
2008-03-21 12:10:00
装IIS 6.0后所有站都出现500错误
2010-05-10 18:32:00
dedecms关键词长度修改统一说明
2010-06-20 15:42:00
百度联盟:主题推广的代码投放
2009-03-10 16:41:00
详谈robots.txt的好处与坏处
2008-07-22 12:52:00
DEDE5.5整合ucenter home+dede激活提示
2009-12-29 10:20:00
28.com母公司美国借壳上市 半年净利润增453%
2009-12-03 10:38:00
FreeBSD下构建安全的Web服务器(2)
2007-09-14 14:19:00
成为一个优秀WordPress开发者的10条秘诀
2010-03-22 12:44:00
WordPress博客系统的安装和使用简介
2008-04-23 07:40:00
图文说明KesionCMS V6伪静态的设置安装方法
2009-08-29 09:40:00
SSL 加密被破解,千万站点面临危险
2011-09-22 20:26:43