轻松配置网站Robots.txt文件

作者:佚名 来源:互联网 时间:2009-01-15 09:12:00 

核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。

当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?

让我们看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#号的都是注释,方便阅读。

User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。

Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。

编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。

如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。

好了,现在就去设置你的robots.txt文件吧。

标签:
0
投稿

猜你喜欢

  • 分析百度搜索引擎收录习惯

    2008-06-15 15:07:00
  • 当全世界都住在一幢楼里 看漫游应用楼一幢

    2009-10-13 17:04:00
  • debian安装后sudo命令不能用的解决方法

    2021-01-12 10:33:54
  • 淘宝客赚钱有新方法 轻松月赚千元

    2010-05-10 19:20:00
  • 通过Docker创建CentOS容器的实现步骤

    2021-04-17 06:19:21
  • 建站攻略——如何用动易构建自己的网站

    2009-02-13 18:10:00
  • 全国的DNS地址

    2010-01-02 19:18:00
  • VirtualBox安装CentOS及JDK、Hadoop的安装与配置详细教程

    2023-08-03 18:42:31
  • 常用字符集编码的概要特性

    2007-10-12 20:46:00
  • 网络时代如何保护自己的隐私

    2007-10-02 20:04:00
  • 腾讯成立中国互联网首家研究院

    2007-10-18 12:35:00
  • 全国百所高校大学生参加奥运观方站 前五名可得一百万创业基金

    2008-06-30 14:08:00
  • 网站推广18种秘笈

    2007-08-11 14:05:00
  • 阿里妈妈:是网络贵妇还是菜场大妈?

    2007-09-20 16:22:00
  • Godaddy:如何设置免费及付费电子邮件帐户

    2010-05-04 12:35:00
  • 美社交网站Ning搬迁至Facebook旧址

    2009-11-14 10:10:00
  • 授予对Web内容的Web服务器权限

    2009-07-23 16:09:00
  • linux服务器后台设置小技巧

    2023-03-30 15:28:28
  • 一句话式问答 网站优化常见问题整理(二)

    2009-01-14 15:00:00
  • Firefox手机版正式发布

    2010-02-01 12:46:00
  • asp之家 网站运营 m.aspxhome.com