有時(shí)候搜索網(wǎng)站的時(shí)候會(huì)出現(xiàn)提示：

由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓?。到y(tǒng)無(wú)法提供該頁(yè)面的內(nèi)容描述 - 了解詳情

這種情況就是屬于robots.txt封禁，禁止蜘蛛進(jìn)行抓取，比如淘寶網(wǎng)站是這樣的：

你可以訪問(wèn)https://www.taobao.com/robots.txt 會(huì)發(fā)現(xiàn)他是這樣寫(xiě)的：

上邊寫(xiě)的是針對(duì)幾個(gè)大的搜索引擎，下邊寫(xiě)的是針對(duì)所有搜索引擎。這個(gè)寫(xiě)法是比較絕情的，而且看出來(lái)寫(xiě)這的人似乎是怕有些搜索引擎識(shí)別不了一些代碼，所以分開(kāi)寫(xiě)，然后再寫(xiě)個(gè)總的，總之就是讓這個(gè)封禁兼容性更好，讓搜索引擎都能識(shí)別到，可謂是煞費(fèi)苦心。

如果你的網(wǎng)站也提示這，就要在網(wǎng)站根目錄找到這個(gè)文件（robots.txt），然后分析一下是不是禁止蜘蛛抓取，想辦法去掉就可以了，你可以這樣寫(xiě)：

User-Agent:  *
Allow:  /

這樣搜索引擎就會(huì)抓取。不過(guò)當(dāng)你修改之后，可能還需要搜索引擎適應(yīng)一段時(shí)間，這個(gè)時(shí)間長(zhǎng)短主要取決于搜索引擎過(guò)來(lái)抓取的頻度，如果是天天來(lái)，可能需要一周時(shí)間能讓快照變正常。

如果您需要網(wǎng)站內(nèi)部?jī)?yōu)化，可以聯(lián)系微信電話：13526646200 給你做一個(gè)網(wǎng)站的內(nèi)部檢查，利于SEO，效果好，排名高！也可以掃描文末的二維碼，沒(méi)聯(lián)系我們。