很多站長(zhǎng)在運(yùn)營(yíng)網(wǎng)站的時(shí)候，都習(xí)慣去查看網(wǎng)站日志，通過(guò)日志分析蜘蛛對(duì)網(wǎng)站的抓取情況，不同ip的蜘蛛在我們的網(wǎng)站的上爬行代表的含義也是不同的，了解了蜘蛛對(duì)我們的網(wǎng)站的態(tài)度就要學(xué)會(huì)分析是什么原因?qū)е轮┲雽?duì)我們網(wǎng)站不爬行呢；
第一，網(wǎng)站的flash，圖片過(guò)多
搜索引擎發(fā)展到今天其智能化的程度已經(jīng)相當(dāng)可觀，最近幾年seo不斷地發(fā)展很多黑帽seo不斷的挑戰(zhàn)搜索引擎的技術(shù)，最后讓搜索引擎的算法不斷地更新，很多站長(zhǎng)為了網(wǎng)站的漂亮美觀不斷地插入大量的flash，圖片，但是搜索引擎是無(wú)法抓取flash和圖片的，這些圖片再美觀也只會(huì)影響網(wǎng)站的收錄。
第二，網(wǎng)站存在大量的死鏈接
當(dāng)蜘蛛來(lái)我們網(wǎng)站爬行的時(shí)候，沿著網(wǎng)站上的鏈接不斷地爬行，當(dāng)網(wǎng)站上存在死鏈接，就相當(dāng)于蜘蛛爬行的道路是不通順的，這些死鏈接擋住了蜘蛛的去路時(shí)間長(zhǎng)了蜘蛛也就不會(huì)再來(lái)我們網(wǎng)站上爬行了
第三，外鏈的影響
我們?cè)趦?yōu)化網(wǎng)站的時(shí)候不斷地發(fā)外鏈很大一部分原因是要吸引蜘蛛，所以當(dāng)蜘蛛不來(lái)網(wǎng)站爬行的時(shí)候要多多的發(fā)外鏈來(lái)吸引蜘蛛