轻松配置网站Robots.txt文件
作者:佚名 来源:互联网 时间:2009-01-15 09:12:00
核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?
让我们看一个例子:
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
有#号的都是注释,方便阅读。
User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。
编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。
如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。
好了,现在就去设置你的robots.txt文件吧。
标签:


猜你喜欢
分析百度搜索引擎收录习惯
2008-06-15 15:07:00
当全世界都住在一幢楼里 看漫游应用楼一幢
2009-10-13 17:04:00

debian安装后sudo命令不能用的解决方法
2021-01-12 10:33:54
淘宝客赚钱有新方法 轻松月赚千元
2010-05-10 19:20:00

通过Docker创建CentOS容器的实现步骤
2021-04-17 06:19:21

建站攻略——如何用动易构建自己的网站
2009-02-13 18:10:00

全国的DNS地址
2010-01-02 19:18:00
VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程
2023-08-03 18:42:31

常用字符集编码的概要特性
2007-10-12 20:46:00
网络时代如何保护自己的隐私
2007-10-02 20:04:00
腾讯成立中国互联网首家研究院
2007-10-18 12:35:00
全国百所高校大学生参加奥运观方站 前五名可得一百万创业基金
2008-06-30 14:08:00
网站推广18种秘笈
2007-08-11 14:05:00
阿里妈妈:是网络贵妇还是菜场大妈?
2007-09-20 16:22:00
Godaddy:如何设置免费及付费电子邮件帐户
2010-05-04 12:35:00

美社交网站Ning搬迁至Facebook旧址
2009-11-14 10:10:00
授予对Web内容的Web服务器权限
2009-07-23 16:09:00
linux服务器后台设置小技巧
2023-03-30 15:28:28
一句话式问答 网站优化常见问题整理(二)
2009-01-14 15:00:00
Firefox手机版正式发布
2010-02-01 12:46:00
