×

SEO Sitemap 漏洞 黑帽

探秘Sitemap漏洞:黑帽SEO技术背后的搜索引擎游戏

元智汇电子 元智汇电子 发表于2024-01-20 13:19:19 浏览67 评论0

抢沙发发表评论

尽管我本人并不鼓励黑帽SEO的实践,但了解一些黑帽技术对于从事白帽SEO的人来说却是必不可少的。黑帽SEO的常见技术和最新应用至少能够为我们提供以下收益:

  1. 在正规网站上避免黑帽陷阱;

  2. 多渠道、深入理解搜索引擎的工作原理;

  3. 帮助了解搜索排名算法的极限;

  4. 从聪明的黑帽SEO技巧中发展白帽技能。

我曾对国内黑帽SEO行业广泛应用于赌博、色情等网站的排名技术进行了一些研究,并与相关公司有过一些接触。对于这个行业的利润之大、团队规模之庞大以及对搜索算法漏洞和参数的极端、大规模利用感到十分钦佩。然而,总体而言,国内黑帽SEO的实践更偏向传统,主要通过对搜索算法已知漏洞或参数的极端、大规模利用来取得效果。与之相比,国外一些黑帽SEO的探索则更为出奇制胜,思路更为独特。

最近,我注意到一个可以用于黑帽SEO的案例,涉及利用Google Search Console的XML Sitemap提交漏洞,以劫持其他网站原有的排名。看完之后,我感到有些吃惊,原来还有这种操作?有些人的思路真的非常活跃,貌似他们有足够的时间在不断地探索各种可能性。幸运的是,这个漏洞并没有真正用于黑帽SEO,而是被发现者Tom Anthony在Google的漏洞举报奖励计划中提交,最终获得了1337美元的奖金。

Tom Anthony并非一般的IT安全从业者,显然是一位从事SEO的专业人士,他是英国著名SEO公司Distilled产品研发部门的负责人。在他的博客帖子中,Tom Anthony详细介绍了这个漏洞的使用方法。

简单来说,Tom Anthony通过自己的网站,利用ping机制向Google提交XML版Sitemap(其中包含索引指令,如例子中所用的hreflang标签)。由于Google及其他网站存在漏洞,导致Google错误地认为这个Sitemap是另一个网站的Sitemap,从而迅速索引了Tom Anthony的网站,并劫持了目标网站的排名。

Google允许通过多种方式提交sitemap.xml:

  1. 在robots.txt文件中指定sitemap.xml的位置。

  2. 通过Google Search Console后台进行提交。

  3. 利用ping方式,向Google的特定URL发送GET请求:

image.png

在这个过程中,发现无论是新网站还是老网站,一旦Google收到该请求,大约在10秒内就会过来抓取sitemap.xml文件。

接下来,利用一些网站可能存在的open redirect漏洞,这是指完全开放、可指向其他网站的转向。有些网站通过URL参数来控制转向,例如用户登录后可能被重定向到指定地址:

image.png

这里,用户登录后被转向到page.html页面,通常应该是在abc.com域名下。但有些网站的程序可能存在安全漏洞,使其可以将用户重定向到其他网站,例如:

image.png

即用户登录后被重定向到另一个网站xyz.com。并且,并非必须真正登录,只要访问这个URL,如login?、logout?或者其他如script.php?,就会发生重定向。

这种开放的重定向问题在一些网站中相当普遍,甚至包括一些大型网站。Tom Anthony注册了一个新域名xyz.com,并通过这两个漏洞,成功利用ping向Google提交了类似的sitemap.xml:

image.png

Tom Anthony成功进行了一系列测试,其中最为显著的是他利用hreflang指令取得的成功。他选择了一家英国的零售商网站(我们称之为abc.com),为了保护对方隐私,未具体指明是哪个网站。在他自己注册的域名xyz.com上,他采集了abc.com的结构和内容,进行了一些修改,例如地址、货币等信息。接着,他在xyz.com的域名上放置了一个sitemap.xml文件,其中列出了abc.com的URL,但每个URL都添加了多语言网站所需的hreflang指令,通知Google该英国网站的页面在xyz.com上有对应的美国版本。最终,通过ping机制向Google提交了xyz.com上的sitemap.xml文件,但Google错误地将其视为abc.com的合法sitemap.xml文件。

这一系列操作导致Google将英国网站abc.com的权重传递到了xyz.com域名上。尽管Tom Anthony表达得不够清晰,但我理解的是,他在美国的Google.com上获得了英国网站在Google.co.uk上本应有的权重和排名。

在短短48小时内,这个新注册的域名开始被索引,并在一些长尾关键词上取得了排名:

image.png

随后的几天里,该域名甚至在一些重要的商业关键词上获得了排名,与Amazon、Toys R Us、沃尔玛等大品牌一较高下:

image.png

Tom Anthony特意强调,这个域名只有6天的历史,没有外部链接支持,内容仍然是采集而来的。

随后,Tom Anthony发现在xyz.com的Google Search Console账号中,那个英国网站居然被列为xyz.com的外部链接(尽管事实上它并没有链接到xyz.com,可能并不知情)。更为严重的是,Tom Anthony居然可以在xyz.com的Google Search Console账号里直接提交那个英国网站的sitemap.xml文件,而无需使用ping。Google似乎将这两个本不相关的网站当成一个,或者至少认为它们存在某种关联。

Tom Anthony还进行了一些测试,包括noindex(暗中损害竞争对手),rel-canonical等指令,但都未见奏效。他也思考过其它可能的测试方向,例如xyz.com网站的结构和内容是否需要与abc.com相似,以及不相似到什么程度仍能产生影响。

一个有趣的现象是,被劫持的网站有可能完全不知情。一些用于负面SEO的技术,比如制造大量垃圾链接,往往会在多个工具中被清晰显示出来。然而,Tom Anthony发现的这个漏洞,被劫持的网站很难察觉到发生了什么。有些网站甚至可能根本不知道它们被劫持了,比如案例中的英国网站,由于在美国没有运营,可能并不会查看Google美国的排名情况。

2017年9月23日,Tom Anthony提交了这个漏洞报告,经过一番讨论,到2018年3月25日,Google确认已修复该漏洞,并同意Tom Anthony发布博客文章。searchengineland的一篇文章详细介绍了Tom Anthony的心路历程,探讨了为何他选择将这个漏洞报告给Google,而不是私自利用。与潜在的流量和利益相比,1000多美元的奖金几乎可以忽略。这也展现了一种对行业的责任心。

最终,Google对这个漏洞的评论是:“一旦发现了这个漏洞,我们立即组织相关团队进行了解决。这是一个新发现的漏洞,我们相信它尚未被利用过。”


群贤毕至

访客