什么是代理劫持

作者:Zac 来源:chinamyhosting.com 时间:2008-03-11 11:13:00 

像PR劫持一样,对一些比较难以预防的黑帽陷害手法,本来不太想积极讨论,因为有很多时候会对无辜的站长造成很大的伤害。


在前两天的SEO案例中,提到了代理劫持(proxy hijack),有人问是怎么回事,今天就解释一下。像这种东西都是 * 剑,不怀好意的人看了,又多了一个损人利己的工具。另一方面,已经深受其害的站长看了,也许对他们预防和恢复有正面意义。

代理劫持简单说就是搜索引擎收录了通过代理服务器浏览的网页,而把原本真正的网页惩罚或删除。


国内站长对代理服务器(proxy server)肯定都很熟悉。在使用代理服务器上其他网站时,浏览器显示的URL通常是类似于:


http://www.proxysite.com/proxy/www.proxysite.com

其中proxysite.com是代理服务器域名,proxysite.com是真正要访问的网站。


在浏览器打开这种URL当然没问题,但如果搜索引擎抓取了这种URL,就会对原来的网站形成完全复制内容网页。虽然复制内容网页在绝大部分情况下只是被忽略不计,但在某些情况下,搜索引擎判断错误,会把原始的版本当做是复制而被惩罚甚至被删除。


一般情况下,通过代理访问的URL不应该被收录。但如果有人恶意链接向这个代理URL,搜索引擎也会访问和抓取。

怎么预防或恢复被代理劫持的排名呢?


最简单的,如果看到自己的网页被代理劫持,查一下那个代理服务器的IP地址,自己服务器上把那个IP地址屏蔽掉,禁止抓取。


但有的时候,代理服务器的IP地址会有变化,而且代理服务器又那么多,很可能屏蔽不过来。更复杂的方法是服务器端通过程序鉴别来访问的是否是搜索引擎蜘蛛,是否是真正的搜索引擎蜘蛛。

有些情况下,搜索引擎蜘蛛通过代理URL访问时的浏览器类型(User Agent),还是搜索引擎的蜘蛛。不过,有的代理服务器可能设置为隐藏原始IP地址,隐藏User Agent,这就给判断是否是搜索引擎蜘蛛造成很大困难。

这时网站程序就需要主动验证来访的是否是真的搜索引擎蜘蛛。如果程序检验确实是真实的蜘蛛,就返回正常页面。如果检测不是蜘蛛是正常用户,或是假冒的蜘蛛,那么返回的网页都加入noindex,nofollow标签。这样这些原始网页通过代理访问时,都不能被搜索引擎所抓取。


Google2月份发表在黑板报及网站管理员博客的翻译Matt Cutts的怎样验证Google蜘蛛帖子(Matt  Cutts的原贴没发在自己的博客,而是发在英文版网站管理员博客),不是发着玩的,而是有很深的意义。从目前零个引用链接和评论看,大部分人不知道这个帖子有什么用。


按说搜索引擎对这种代理劫持应该有办法判断,不然这就成了一些人可以陷害竞争对手的简易方法。不过,任何算法都有漏洞,就算算法能99%的正确判断,但是漏网的那一个错误就可能使无辜的网站被删除。


写这篇文章是希望介绍给跟多人,让大家能更好的预防。使用这种方法意图陷害他人,相信大家都会十分鄙视的。


很少写帖子时想,看懂的人越少越好。这是一篇。

标签:代理,pr,服务器
0
投稿

猜你喜欢

  • WordPress3.0无限级分类下拉菜单制作方法

    2011-12-02 12:45:19
  • 手机博客成新宠 迷你博客可发图文视频

    2008-05-04 11:36:00
  • Tools工具针对SupeSite7.0的使用方法

    2009-06-13 18:57:00
  • 详细讲解架设FTP服务器的两种方法

    2009-01-22 16:09:00
  • 偷菜也是修真 看神话网络游戏内嵌SNS系统

    2009-09-30 09:04:00
  • 技巧:加固外网上的IIS服务器安全

    2009-08-29 13:57:00
  • 如何优化Google Adsense来提高收入

    2007-08-15 15:55:00
  • 搭建Web服务器 绿色PHP环境套件e2php

    2010-08-12 18:36:00
  • 我们需要什么样的网站数据

    2010-08-29 17:59:00
  • 徒手之劳:七种来减少网站重复内容的方法

    2009-01-22 15:21:00
  • 高飞:网络编辑新手初入行业如何起步经验

    2008-12-22 07:15:00
  • IIS安全性设置

    2010-05-04 17:57:00
  • 如何发表点击率高的软文

    2008-05-22 17:20:00
  • blogcn系统关闭 用户担心或致blogcn倒闭

    2009-10-30 09:33:00
  • WordPress常用模板函数 修改或自制WordPress主题必备

    2012-01-17 15:58:24
  • 设计师应该警惕威客的漏洞

    2008-02-16 09:28:00
  • 虚拟礼物能否成为挽救社交网站的一线希望?

    2009-10-27 17:44:00
  • Windows下DNS ID欺骗的原理与实现

    2010-01-28 18:57:00
  • 安全:不让建用户而防止木马

    2009-10-11 12:05:00
  • 为什么baidu只收录首或不收录

    2008-03-25 10:36:00
  • asp之家 网站运营 m.aspxhome.com