Google教你正确设置robots.txt文件
作者:灵之舞 来源:hnfree.cn 时间:2007-12-18 17:06:00
一个正确的robots.txt文件,能让搜索引擎不抓取网站的某个不想让蜘蛛抓取的文件,也可以避免大量的复制网页对网站搜索引擎权重的影响。Robots.txt 协议标准介绍以前也已提到过,也可以访问robotstxt.org官方网站参考正确的设置方法,但对了一个新手来讲,正确设置一个robots.txt文件是一件比较头痛的事情。不必烦恼,google教你正确设置robots.txt文件。
对于一个网站管理者,拥有一个google帐号是非常有用的,google网站管理工具,全方位的为你诊断网页,google通过此工具,为你反馈网站存在的一些问题。至于google网站管理工具榜大的功能我就不一一介绍,这里来讲一下怎么利用google网站管理工具设置一个正确的robots.txt文件。
网站管理工具中工具下有一个分析robots.txt文件,此栏下google检查你网站是否有设置robots.txt文件,如果没有你也可以通过提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件,把你想要禁止的文件或目录通过robots.txt格式制作好后,复制到google提供的robots区,然后你可以在robots.txt文件测网址区测试下你刚才写的robots.txt文件是否正确。此处还提供了移动索引抓取、图片索引抓取、抓取网以确定AdSense内容、抓取网页测量AdWords到达网页的品质等强大的功能。
有了googel网站管理工具,让你不必烦心robots.txt文件怎么去写,写得正不正确,也避免了写错robots而给网站带来不必要的创伤直接为网站管理者带来的经济损失!
标签:robots.txt,蜘蛛,google
0
投稿
猜你喜欢
Windows服务器组件安全设置策略
2009-10-18 07:41:00
利用Foxmail Server轻松搭建邮件服务器
2010-02-20 19:19:00
Godaddy域名注册的付款方式
2010-04-20 13:18:00
Comsenz推出论坛游戏插件“Yes玩”帮助站长赢利
2008-10-13 20:25:00
如何成功申请到google adsense帐号图文教程
2010-03-23 12:30:00
说说我做站四年的经历 简单而艰辛
2008-12-17 11:50:00
关于Exchange循环日志和备份
2010-02-22 19:11:00
如何制作符合搜索引擎要求的XML地图
2009-01-05 13:13:00
巨人网络低调推出SNS网站 再度布局社交领域
2009-11-20 16:32:00
UCHome出现Incorrect file format ‘uchome_log’的解决办法
2011-06-04 15:19:00
微软出价446亿美元洽购雅虎
2008-02-02 10:13:00
Windows 2000 上配置和应用安全模板
2009-12-02 19:03:00
魔兽争霸15周年回顾 WOW团队打造新网游
2009-11-20 13:24:00
网页Head标签的规范填写
2008-08-25 14:17:00
新手站长进行SEO优化注意的几个关键技巧
2009-03-03 11:47:00
Robin主持:你问我答001期
2008-12-29 10:56:00
GoDaddy Linux空间 相关问题解答
2010-04-08 13:16:00
如何使用代理服务器
2010-01-17 10:22:00
提升网站价值 把流量变成钱
2008-04-01 09:16:00
ASP实现简单的网页保护
2007-09-21 12:18:00