5条Linux命令分析搜索引擎蜘蛛的爬行行为
来源：asp之家 发布时间：2009-09-20 20:15:00
标签：命令,linux,搜索引擎,蜘蛛
百度和google是站长们的衣食父母，而做好搜索引擎优化的第一步就是蜘蛛的抓取，以下5条简单的Linux命令可以让你清楚的了解蜘蛛的爬行情况做到有的放矢。
请首先看看日志文件的大小，如果特别大的话(比如：超过50MB)建议不要用这些命令分析，因为这些命令较消耗CPU，或者抓下来放到分析机上执行，以免影响网站的速度。如果是Dreamhost等共享主机的话，分析大日志很消耗CPU，进程很容易被Kill掉。
这些命令都是Linux下的shell命令，在Windows主机下无法执行。
一 百度蜘蛛爬行的次数
cat access.log.2009-04-18 | grep Baiduspider+ | wc
这代表百度蜘蛛一共爬行了173次
二 百度蜘蛛的详细记录(如果记录很长不想看了可以Ctrl+C终止)
cat access.log.2009-04-18 | grep Baiduspider+
你也可以用如下命令：
cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100
cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100
只看最后100条或者最前100条
0
投稿猜你喜欢
- 今天升级了Typecho，发现很多地方需要改动，烦啊，记一下升级步骤，源自官网FAQ1、删除服务器上的旧文件，请删除如下目录和文件：admi
- 打开“开始”-〉“运行”在对话框中输入cmd然后回车。win
- 一、Windows Server2003的安装1、安装系统最少两需要个分区，分区格式都采用NTFS格式2、在断开网络的情况安装好2003系统
- Google官方原文:How do I pick up my Western&n
- 今天在浏览一个博客时，突然看到一句话“成功就是不断重复地做简单的事”，不禁让我联想起咱们做站何尝不是这样：记得刚开始做站的时候，总是不停地到
- 最好为特殊的应用程序单独开一个分区，特别是可以产生大量日志的程序，还有建议为/home单独分一个区，这样他们就不能填满/分区了，从而就避免了
概述微软的最新邮件系统Exchange server2007中新增加了一项服务：自动发现服务(auto discover service).- 4月29日消息，主题为创造？创新？创想的2008新经济高峰论坛昨天在深圳市启幕，深圳市副市长陈应春、博鳌亚洲论坛秘书长龙永图及百度（企业库
- 在过去的几年中，越来越多的黑客、病毒和蠕虫带来的安全问题严重影响了网站的可访问性，尽管Apache服务器也常常是攻击者的目标，然而微软的In
- 访问iis时候出现一下错误服务器应用程序不可用 您试图在此 Web 服务器上访问的 Web 应用程序
- 正如我们之前所说的，我们一直在努力改进广告管理功能。现在，我们又推出了一些新的功能。隐藏功能我们收到很多发布商的反馈希望能够在管理广告页面添
- 做不成也没关系，可以伪装一下。RSS图标不显示订阅数。托管RSS。更新频率等于或低于每日一篇，但不低于每周一篇。凡文内链接全部为站内链接，是
- z-blog最新版，给文章页侧栏弄得都是js调用，要加强制代码才能是include调用，这样才符合某些SEO大人的要求。拿荆棘鸟博客来说，侧
- 相信这个问题近两天大家都遇到了吧，DZ官方说是js的冲突造成了，无从考究了，找到了一个解决方法：修改论坛目录下 includejscommo
- 就像以往的Xbox Live面板升级一样，微软现在开始向公众开放参加X360新功能公开测试的机会。你可以提前体验包括Zune、Faceboo
- 目前，随着商家对网上销售的重视程度和消费者网上购物的接受程度的不断提高，网上购物市场正逐渐成为国内社会消费品零售市场中不可小视的力量，传统行
- dedecms v5.7正式版uft8版本，在执行更新网站地图的出现乱码。查看模板文件 templets/plus/中rssmap.htm和
- 本文记录了centos 7 安装详细教程，供大家参考，具体内容如下1.centos 7 下载地址进入镜像下载主页：直接点击官方主页中的&qu
- 电子邮件翻译自英文的email或e-mail，它表示通过电子通讯系统进行信件的书写、发送和接收。今天使用的最多的通讯系统是互联网，同时电子邮
- OpenStack Heat AutoScaling一、背景Openstack的Heat是在H版之后加入的组件，旨在创建一套业务流程，更轻松
