随着微软和Yandex搜寻引擎联手打造的IndexNow协议的推出，网站拥有了一种高效的方式来通知搜索引擎何时爬取内容。Cloudflare的Crawler Hints现在也支持IndexNow，使网站管理员能够以简单的方式向搜索引擎传递关于内容变更的信息。
IndexNow的核心功能在于提供一种简单的ping通知，让搜索引擎知道URL以及其内容的变化情况，从而让搜索引擎能够及时地在他们的搜索结果中反映这些变化。通过在网站上启用Crawler Hints，只需简单的点击按钮，Cloudflare就会通过IndexNow协议向这些搜索引擎发出信号，告知他们您的内容已经发生了变化，而无需进行任何其他操作。
对搜索引擎运营商来说，这意味着什么？使用Crawler Hints，您将能够几乎实时地收到Cloudflare网站（已选择加入的网站）变更事件的推送，这将极大地提升您的搜索结果质量，同时提高爬行过程的能源效率。
Cloudflare最近宣布了两个令人振奋的Crawler Hints更新：
首先，Crawler Hints现在支持IndexNow，这是一种新的协议，允许网站在创建、更新或删除内容时通知搜索引擎。通过与Microsoft和Yandex合作，Cloudflare可以帮助提高它们的搜索引擎基础设施、客户源服务器以及整个互联网的效率。
其次，Crawler Hints现在对所有Cloudflare客户免费提供。客户只需单击一个按钮即可从这些更高效的爬行中受益。如果您想启用Crawler Hints，可以在仪表板的高速缓存选项卡中进行操作。
Crawler Hints解决了什么问题？爬虫在网络运作中起着至关重要的作用。为了提供依赖于从网络上索引内容的用户体验，搜索引擎运营着一个爬行网络，用于爬取网络以识别与用户查询最相关的内容。然而，由于网络内容不断变化，并且没有集中的清算中心来跟踪这些网站上的更改，因此搜索引擎爬虫面临着一个艰巨的任务。他们必须不断地在网络上漫游，试图找出他们应该多频繁地检查给定站点以查找其内容更新的时间。
运营搜索引擎的公司一直在努力使这个过程尽可能高效，推动爬行频率和基础设施效率的最新技术。但还有一个明显的浪费领域：过度爬行。
在 Cloudflare，我们看到来自所有主要搜索爬虫的流量，并花了一年时间研究了这些机器人多久重新访问一个自上次看到它以来没有更改的页面。每一次这样的访问都是浪费。不幸的是，我们的观察表明，53% 的这些爬行器流量是浪费的。Crawler Hints的目标是增加相关爬行的比例，并限制不能找到新鲜内容的爬行，从而提高客户体验，减少重复爬行的需要。
综上所述，IndexNow协议与Cloudflare Crawler Hints的结合为网站提供了一个强大的工具，能够高效地通知搜索引擎内容变更，从而提升在New Bing搜索引擎中的排名和曝光率。同时，Cloudflare还免费为所有客户提供了Crawler Hints功能，让您可以轻松受益于这一高效的爬行技术。如果您希望启用Crawler Hints，请前往仪表板的高速缓存选项卡进行操作，享受更高效的爬行服务！
