展现网站最优质内容 正确配置Robots文件
作者:佚名 来源:互联网 时间:2009-01-14 17:13:00
核心提示: 一个网站要建立好良好的形象,必定要“扬长避短”。通过robots.txt来限制蜘蛛的爬行页面,不让蜘蛛爬行质量比较低劣的网页。
Google,雅虎,微软就合作共同遵守统一的Sitemaps标准,又宣布,共同遵守的robots.txt文件标准。Google,雅虎,微软各自在自己的官方博客上发了一篇帖子,公布三家都支持的robots.txt文件及Meta标签的标准,以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括:
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其中cd下的文件:
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL:
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件:
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里,格式为:
Sitemap:
标签:
0
投稿
猜你喜欢
Windows服务器上配置SNMP服务方法
2009-07-27 12:56:00
十大步骤提高Domino邮件服务器性能
2009-02-26 17:29:00
启用防火墙后FTP连不上什么原因? ServU连接不上的解决方法?
2010-07-22 22:29:00
边栏 Discuz! 7.0 重要改进之一
2009-02-15 10:08:00
http协议状态码的含义及解决方法
2008-11-03 12:43:00
谷歌第三季度游说费用首次超过100万美元
2009-11-05 08:34:00
织梦教育解决方案出炉 迎接教育类网站建站热潮
2011-09-09 18:57:05
粗看搜索结果本地化差异现象
2009-09-28 04:14:00
正版影视剧受追捧 “十一”乐视网站数据翻倍
2009-10-12 16:33:00
IIS7在Windows Server 2008R2的新改进
2009-01-14 11:02:00
WEB专用服务器的安全设置技巧
2008-10-14 14:20:00
共享控制台--让远程桌面更人性化(2)
2007-03-27 10:56:00
Discuz!任务系统简析 (一)帖子类任务
2009-02-15 09:57:00
Google推出中文AdSense for Mobile
2007-09-19 13:25:00
windows2003手工安装配置php5详细指南
2007-08-16 09:34:00
佩奇和布林让谷歌成功的13大奇招
2011-05-06 12:37:00
站长托管服务器之前必做的六件事
2009-09-02 14:57:00
网店灰色生存之道:刷钻手法换代升级 皇冠6700
2009-11-13 10:23:00
就爱车总结了换链接的一些要点
2009-08-23 11:10:00
到百度应聘只为找个好老公
2007-10-29 11:50:00