百度蜘蛛抓取系統(tǒng)的基本框架全解析

發(fā)布時(shí)間：2013-10-12 來源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：712次

百度是怎么抓取您的網(wǎng)頁(yè)的呢？我們來看看官方給出的抓取原理圖吧：

百度蜘蛛抓取系統(tǒng)框架圖

我們?cè)谏蠄D中可以看到：

1、整個(gè)系統(tǒng)是一個(gè)循環(huán)作用的完整生態(tài)系統(tǒng)，處理的結(jié)果會(huì)輸出到一個(gè)總頁(yè)面結(jié)果容器。我們可以當(dāng)做索引數(shù)據(jù)。

2、網(wǎng)站抓取系統(tǒng)的工作原理是：抓取系統(tǒng)根據(jù)一定的規(guī)則，抓取某個(gè)網(wǎng)頁(yè)，然后提取出一些連接，并選出新的連接，然后添加到總連接庫(kù)里邊，總鏈接庫(kù)再去不斷地抓取和對(duì)比相應(yīng)的網(wǎng)頁(yè)。

3、內(nèi)部DNS解析服務(wù)是不是對(duì)連接和IP進(jìn)行對(duì)比？這個(gè)也不得而知，粗略的猜測(cè)一下，應(yīng)該是看看某些相同的網(wǎng)頁(yè)是不是在一個(gè)IP上，如果是的，就合并這些連接。

這個(gè)圖是百度站長(zhǎng)平臺(tái)上給的圖片，應(yīng)該是比較權(quán)威的，更多的細(xì)節(jié)猜測(cè)你也可以有自己的想法。