安裝完 wordpress站點(diǎn)后關(guān)于robots.txt文件的書寫一直煩惱著很多站長(zhǎng)，robots.txt文件協(xié)議又叫搜索引擎機(jī)器人協(xié)議，搜索引擎爬蟲在 爬取網(wǎng)站的時(shí)候，首先會(huì)看網(wǎng)站根目錄下是否有robots.txt文件，然后遵循robots.txt協(xié)議爬取網(wǎng)站主希望搜索引擎爬取的內(nèi)容。 robots.txt文件意在告訴搜索引擎爬蟲哪些頁(yè)面可以爬取，哪些頁(yè)面不能爬取，可以有效的保護(hù)用戶的隱私，同時(shí)也有利于節(jié)省蜘蛛的帶寬，從而讓蜘蛛 爬取更加容易，促進(jìn)收錄。

先來(lái)簡(jiǎn)單的說(shuō)下robots.txt文件的規(guī)則:

1、允許所有的搜索引起爬取任何內(nèi)容

user-agent:*

disallow:

這個(gè)意思就是允許所有的搜索引擎爬取所有的頁(yè)面，雖然disallow是不允許的意思，但是后面是放空狀態(tài)，這意思是沒(méi)有不允許爬取的頁(yè)面。

2、屏蔽其中一種或者幾種搜索引擎的爬取，以最近比較火的360綜合搜索為例

user-agent:360spider

disallow:/

user-agent:*

disallow:

前兩行的意思是不允許360綜合搜索蜘蛛爬取任何頁(yè)面，后面的解釋見第一點(diǎn)。同理，如果除了屏蔽360綜合搜索也想屏蔽百度蜘蛛，那就在開頭繼續(xù)添加。

3、不允許搜索引擎抓取其中的某些頁(yè)面，這邊以不允許所有搜索引擎爬取wordpress的管理后臺(tái)頁(yè)面為例

user-agent:*

disallow:/wp-admin/

我們都知道，wordpress的管理后臺(tái)在根目錄下的wp-admin文件夾里面，在disallow后面加上/wp-admin的意思就是不允許搜索引擎蜘蛛爬取。

至于不允許百度爬取后臺(tái)，允許其他搜索引擎爬取后臺(tái)，或者不允許360綜合搜索爬取后臺(tái)，允許其他搜索引擎爬取后臺(tái)等等組合，請(qǐng)參考以上三點(diǎn)內(nèi)容進(jìn)行組合。

再來(lái)說(shuō)下wordpress的robots.txt文件書寫，其實(shí)wordpress的robots文件很簡(jiǎn)單，主要看3個(gè)要點(diǎn)：

1、網(wǎng)站后臺(tái)不要蜘蛛爬取

首先設(shè)置不讓搜索引擎抓取wordpress后臺(tái)頁(yè)面，這幾乎是每個(gè)站長(zhǎng)設(shè)置robots.txt文件首要的目的，不僅局限于wordpress，當(dāng)然，不同的類型網(wǎng)站后臺(tái)頁(yè)面所在頁(yè)面的文件夾名稱不一樣。

2、靜態(tài)化后，動(dòng)態(tài)url不要蜘蛛爬取

wordpress的url最好還是靜態(tài)化下，因?yàn)檫^(guò)多的動(dòng)態(tài)參數(shù)不利于蜘蛛的爬取。但很多站長(zhǎng)在靜態(tài)化url之后，每次發(fā)布文章時(shí)，搜索引擎收錄 總會(huì)同時(shí)收錄靜態(tài)的url和動(dòng)態(tài)的url，這樣明顯會(huì)導(dǎo)致文章頁(yè)面權(quán)重的分散，而且會(huì)導(dǎo)致重復(fù)頁(yè)面過(guò)多最終受到搜索引擎的懲罰，其實(shí)避免這種情況的方法很 簡(jiǎn)單，那就是在robots.txt文件里面設(shè)置，讓蜘蛛不爬取動(dòng)態(tài)url，這樣動(dòng)態(tài)的url就不會(huì)被百度收錄。

3、結(jié)尾加上xml格式的網(wǎng)站地圖

在robots.txt的結(jié)尾加上網(wǎng)站地圖，可以讓網(wǎng)站地圖在蜘蛛爬取網(wǎng)站的時(shí)候第一時(shí)間被抓取，更利于頁(yè)面的收錄。

于是，最簡(jiǎn)單的wordpress的robots.txt的書寫如下

user-agent:*

disallow:/wp-admin/

disallow:/*?*

#這意思是不抓取中包含?的url，動(dòng)態(tài)url特征是有?#

sitemap：http://www.yourdomain.com/sitemap.xml

去掉含有#的那行，以及將sitemap中的yourdomain改成你的域名即可，這樣一個(gè)wordpress的robots.txt文件就完成了，最后將這文件上傳到根目錄下即可。

robots.txt文件書寫還有幾點(diǎn)需要注意的：

1、斜杠問(wèn)題

首先開頭的斜杠是一定要的，結(jié)尾有斜杠的話意思是這個(gè)目錄下的所有頁(yè)面，如果沒(méi)有斜杠那屏蔽的既有包括斜杠的，也有不包括斜杠的，比如/wp-admin.html，/wp-admin.php等等頁(yè)面(舉例)。這是兩個(gè)不同的概念，必須根據(jù)需要考慮后面是否加上斜杠。

2、大小寫問(wèn)題

除了每行的首字母之外，其他都必須小寫。

3、disallow和allow

其實(shí)對(duì)于很多新手站長(zhǎng)來(lái)說(shuō)，掌握其中一種的寫法足以，因?yàn)橥瑫r(shí)被灌輸這兩種寫法很容易導(dǎo)致混繞，所以如果你是新手，那么robots.txt文件最 好只使用一種方法即可，防止混繞造成錯(cuò)誤