robots.txt概述
　　
　　網(wǎng)站的標(biāo)準(zhǔn)配置是要在根目錄下有一個(gè)robots.txt的文件,用來說明讓不讓蜘蛛抓取,或者是給搜索引擎一個(gè)指引，告訴他哪些網(wǎng)頁可以抓取，哪些不可以，告訴他們網(wǎng)站地圖在什么地方等等。robots.txt是一個(gè)協(xié)議，這個(gè)協(xié)議不具有強(qiáng)制性，有些搜索引擎也會(huì)不遵守（一般都會(huì)遵守的）。當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。百度官方建議，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。
　　
　　robots.txt設(shè)置方法
　　
　　直接看范例吧：http://www.guxiaowei.cn/robots.txt我們的網(wǎng)站robots.txt文件
　　
　　User-agent:*
　　
　　Allow:/
　　
　　第一行的意思是，這個(gè)協(xié)議適用的范圍是對(duì)準(zhǔn)所有搜索引擎有效，你也可以用Baiduspider（百度網(wǎng)頁搜索引擎）、Googlebot（谷歌網(wǎng)頁搜索引擎）
　　
　　第二行的意思是，允許抓取全部的頁面，如果你AllOW后邊加個(gè)/bin/就是允許ALLOW目錄被抓取，當(dāng)然不想讓抓取的可以寫成Disallow:/bin/。每一條規(guī)則占一行?？梢杂枚鄺l規(guī)則。
　　
　　如果你不想太深究這個(gè)問題，可以用站長之家提供的工具生成一個(gè)robots.txt吧！網(wǎng)址是http://tool.chinaz.com/robots/