搜索引擎爬虫的五大捕捉战略(搜索引擎捕捉原理政策)

搜索引擎爬虫的五大抓取策略(搜索引擎抓取原理策略)

搜索引擎爬虫抓取我们的网页是优化SEO的第一步。如果没有被抓住，网站就不会被收录在搜索引擎中，也不会有排名。所以为SEO从业者抓住一切是第一步！

事实上，大部分SEO从业者都知道，搜索引擎捕获算法只有两个策略：深度优先级和宽度优先级。但是实际上，爬行动物抓住的网页的战略有6种。在再次共享这六个战略之前，我们应该先看看搜索引擎爬虫的工作流程。否则，您可能不太理解，如下所示。(大卫亚设，北方执行部队)。

爬虫的宽度优先抓取策略

宽度优先捕捉战略、历史悠久、备受关注的捕捉战略、从搜索引擎爬虫诞生到现在一直使用的捕捉战略，甚至很多新战略都是以此为基础的。

宽度优先捕获策略是根据暂挂URL列表进行捕获，发现新链接并认为未捕获的基本内容是直接保存在暂挂URL列表的末尾，等待捕获。

如上所述，假设从爬行动物的暂挂URL列表中，只有A、爬行动物在A页上捕获，从A中提取B、C、D页，然后将B、C、D放入捕获队列，依次获取E、F、G、H、I页，插入要捕获的URL中。

爬虫的深度优先抓取策略

深度优先捕获策略是爬虫从暂挂列表中捕获第一个URL，然后沿着该URL继续捕获此页面上的其他URL，处理此线路，然后从要捕获的列表中捕获第二个URL。下面展示了图解。

A是要抓取的列表中的第一个URL，爬行动物开始捕捉后，捕捉到B、C、D、E和F，但B、C和D没有后续链接(此处还会删除已经捕捉到的页面)。在E发现了H，沿H发现了I。在F中发现G，对该链接的捕捉结束。从暂挂列表中获取以下链接，继续执行此操作。

爬虫的非完全PageRank抓取策略

很多相信PageRank算法的人都知道，SEO的母语理解是通过链接传递权重的算法。如果应用于捕捉爬行动物，那是什么逻辑呢？首先，爬行动物的目的是下载网页，同时，爬行动物不能查看所有网页特定网页的链接，因此，在捕捉过程中，爬行动物是不能计算所有网页的页面的pager。

那非完全pagerank抓取策略，就是基于在爬虫不能看到所有网页指向某一网页的链接，而只能看到部分的情况，还要进行pagerank的计算结果。

它的具体策略就是对已经下载了的网页，加上待抓取的URL列表里的网页一起，形成一个汇总。在这个汇总内进行pagerank的计算。在计算完成后，待抓取的url列表里的每一个url都会得到一个pagerank值，然后按照这个值进行倒序排列。先抓取pagerank分值最高的，然后逐个抓取。

那问题来了?待抓取URL列表中，在末尾新增一个URL，就要重新计算一次吗?

实际不是这样的。搜索引擎会等到在待抓取URL列表的新增URL达到一定数量时，再进行重新抓取。这样效率会提升很多。毕竟爬虫抓取到新增的那第一个，也需要时间的。

爬虫的OPIC抓取策略

OPIC是online page importance computation的缩写，意思是“在线页面重要性计算”，这个是pagerank的升级版本。

它具体的策略逻辑是这样，爬虫把互联网上所有的URL都赋予一个初始的分值，且每个URL都是同等的分值。每当下载一个网页就把这个网页的分值平均分摊给这个页面内的所有链接。自然这个页面的分值就要被清空了。而对于待抓取的URL列表里(当然，刚才那个网页被清空了分值，也是因为它已经被抓取了)，则根据谁的分值最高就优先抓取谁。

区别于pagerank，opic是实时计算的。这里提醒我们，如果单纯只考虑opic这个抓取策略来说。无论是这个策略还是pagerank策略都证实了一个逻辑。我们新产生的网页，被链接的次数越多，被抓取的概率就越大。

是不是值得你思考一下你的网页布局了?

爬虫抓取的大站优先策略

大站优先抓取，是不是就顾名思义了呢?大型网站就会有先抓取?不过这里是有两种解释的。我个人认为这两种解释爬虫都在使用。

大站优先抓取的解释1：比较贴合字面意思，爬虫会根据待抓取列表中的URL进行归类，然后判断域名对应的网站级别。例如权重越高的网站所属域名越应该优先抓取。

大站优先抓取解释2：爬虫将待抓取列表里的URL按照域名进行归类，然后计算数量。其所属域名在待抓取列表里数量最多的优先抓取。

这两个解释一个是针对网站权重高的，一个是针对每天文章发布数量高且发布很集中的。不过我们试想一下，发布那么集中且那么多篇的站点，一般也都是大站了吧?

这里让我们思考的是什么呢?

写文章的同时，应该集中一个时间点推送给搜索引擎。不能一个小时一篇，太分散。不过这个有待考证，有经历的同学可以进行一下测试。

如上是我分享的5个搜索引擎爬虫抓取网页的策略，希望能够对你有所帮助。持续关注老铁SEO博客，随时获得精华内容。