404頁面根據(jù)抓取如何調(diào)整
網(wǎng)站日志是記錄服務(wù)器的日常動(dòng)態(tài),特別是搜索引擎爬行和抓取的動(dòng)態(tài),通過日志能很清晰的分析出來??纯从卸嗌?01,多少404,看看哪些頁面被過渡抓取,哪些始終沒有被爬行,每個(gè)頁面的平均抓取時(shí)間,蜘蛛每次訪問網(wǎng)站的抓取深度,蜘蛛每天到訪網(wǎng)站的次數(shù)等等,這些都能直接反應(yīng)網(wǎng)站目前的問題。
訪問次數(shù)側(cè)面反應(yīng)權(quán)重
蜘蛛訪問網(wǎng)站的次數(shù)能側(cè)面反應(yīng)出網(wǎng)站自身的權(quán)重,一般小網(wǎng)站單個(gè)蜘蛛每天來訪的次數(shù)大概在幾十次。如果高于幾十次,那么說明通過鏈接爬行到網(wǎng)站上的次數(shù)較多,那么抓取收錄的機(jī)會(huì)就會(huì)大一些,最終對(duì)排名也是有積極的影響。如果每天來訪一兩次甚至零次,那么網(wǎng)站非常危險(xiǎn)。
404頁面降低整體權(quán)重
每個(gè)網(wǎng)站或多或少的都有404錯(cuò)誤頁面,這是不可避免的現(xiàn)象。有時(shí)候是空間上本身問題,有時(shí)候是自身網(wǎng)站的設(shè)置問題,有時(shí)候是外部網(wǎng)站存在外部鏈接的問題,從日志中一旦發(fā)現(xiàn),就應(yīng)該立刻調(diào)整。如果是抓取某個(gè)URL404特別多的話,需要在網(wǎng)站上建立這樣一個(gè)URL頁面,有效的利用,也可以修改robots文件給予屏蔽,禁止抓取。大量的404錯(cuò)誤會(huì)被蜘蛛記錄下來,對(duì)網(wǎng)站是減分印象,所以會(huì)從整體上降低網(wǎng)站的權(quán)重。