百度蜘蛛爬蟲訪問壓力太大應(yīng)該怎么辦才能利于seo又能降低壓力

發(fā)布時間：2014-12-29 來源：本站原創(chuàng) 作者：野狼SEO團隊閱讀：2035次

　　很多個大網(wǎng)站估計也都遇到過這樣的問題：蜘蛛訪問壓力非常的大，服務(wù)器壓力太大沒有辦法就采取很多操作。但是很多人因為采取的操作不恰當而造成網(wǎng)站出現(xiàn)問題。今天我們就先來看看站長平臺上官方給與這個問題的解釋。下邊是站長俱樂部廣州沙龍的一個問答：

　　黃勇：有一天我們有一個網(wǎng)站發(fā)現(xiàn)來了非常多的爬蟲，給服務(wù)器造成了極大的壓力。于是我們緊急屏蔽了所有爬蟲IP和UA。可是等一段時間后，我們解除解禁后，卻發(fā)現(xiàn)恢復(fù)起來非常緩慢，基本上兩個月后才回到了當時的水平。大家的站越做越大，肯定會遇到龐大的訪問壓力、抓蟲抓取方面的問題，所以想借此機會咨詢一下，看在這方面有沒有一個好的解決辦法。

　　王淘：理論上講，站點屏蔽了Baiduspider后的恢復(fù)周期的確比較長，但是有沒有措施就請孫權(quán)講一下了。

　　孫權(quán)：通過封禁UA或IP的方式來拒絕百度蜘蛛，一天以上后果都是非常嚴重的。就這個問題來說目前沒有快速的方法可以讓你在短時間內(nèi)恢復(fù)。這是站點自身運行的一個故障，并不是百度策略上面有什么問題。還有就是，網(wǎng)站在無法訪問期間，很多因子都會受到影響，百度在給網(wǎng)站進行綜合打分時會綜合計算多個因子，所以說，即使是網(wǎng)站訪問恢復(fù)了，但其它因子的負面影響還在，網(wǎng)站恢復(fù)起來也還是非常困難的。

　　確實也不難想想一下，訪問壓力過大，很多人想當然的就認為封禁蜘蛛，不讓爬不就行了么。事實上這樣的操作并不好，其實最經(jīng)濟實惠的辦法野狼覺得是：增加服務(wù)器投入。有的網(wǎng)站可以臨時性的增加一些流量之類的（例如做了CDN加速的網(wǎng)站），還有一些是可以升級虛擬機、VPS、獨立服務(wù)器的配置。這樣方式的投入其實并沒有多很多，但是效果卻很好?？偙确饨┲脒@種辦法好得多。如果你封了蜘蛛，恢復(fù)需要2個月的話，這兩個月的時間應(yīng)該比增加點服務(wù)器投入要貴得多吧！

　　當然，如果訪問確實很大，可以先使用站長工具的抓取壓力調(diào)整，把壓力調(diào)整到最小，之后不行再加大服務(wù)器投入。在抓取平穩(wěn)服務(wù)器有剩余資源之后，建議恢復(fù)抓取壓力默認值，讓蜘蛛自動判斷抓取頻度。