當(dang)百(bai)(bai)度(du)蜘(zhi)蛛抓取(qu)(qu)某一個URL的(de)(de)(de)時(shi)候，在(zai)HTTP頭(tou)中帶(dai)的(de)(de)(de)Referer字段。請(qing)注(zhu)意(yi)，這(zhe)個定義和百(bai)(bai)度(du)最近聲明去除Referer中關鍵詞數據沒有(you)任(ren)何(he)關系。這(zhe)次講的(de)(de)(de)是spider發(fa)起的(de)(de)(de)HTTP請(qing)求，百(bai)(bai)度(du)而去除的(de)(de)(de)是用戶發(fa)起的(de)(de)(de)。如果百(bai)(bai)度(du)蜘(zhi)蛛抓取(qu)(qu)百(bai)(bai)度(du)首頁的(de)(de)(de)logo，會(hui)發(fa)起這(zhe)樣的(de)(de)(de)請(qing)求：

上(shang)面(mian)Referer字段很明確的(de)(de)表(biao)示了他是從www.baidu.com這個頁(ye)面(mian)上(shang)發現并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務器(qi)訪問日志中(zhong)也(ye)應該(gai)能看(kan)到(dao)相應的(de)(de)記錄。目前發現只有當百(bai)度抓取一(yi)個網(wang)頁(ye)的(de)(de)同時，又抓取了網(wang)頁(ye)中(zhong)的(de)(de)：img、js和(he)css才會帶上(shang)referer字段。這部分額外(wai)的(de)(de)抓取量，應該(gai)不會占(zhan)用百(bai)度分配(pei)的(de)(de)抓取配(pei)額，屬(shu)于“買1送1”。

 

對于站長的意義

 

如果你發現有一(yi)批URL（僅限于img,js,css）報錯（4xx或者5xx），但是一(yi)直找不到入口在哪，也(ye)就是說你不明白百度蜘蛛是從哪里發現這些錯誤URL的。這個(ge)字段可(ke)以(yi)幫助(zhu)你迅(xun)速定位。

 

舉個例子

 

比(bi)如我們的SEO日志(zhi)分析(xi)系統中可以(yi)看(kan)到，符合下(xia)面這種URL Pattern的路徑(jing)每(mei)天有(you)6萬到10萬的抓取(qu)而且全部報404。

從(cong)發現問題(ti)(ti)至(zhi)今(jin)過了(le)1個(ge)月(yue)，查遍(bian)整個(ge)網站我也(ye)沒(mei)找到入口。今(jin)天偶然仔細查了(le)一下日(ri)志，想起(qi)了(le)百(bai)度蜘蛛(zhu)的(de)referer，馬上(shang)就(jiu)能定(ding)位(wei)問題(ti)(ti)了(le)。這(zhe)(zhe)些404的(de)URL來自于一套沒(mei)人維護也(ye)沒(mei)人關(guan)注(zhu)的(de)頁面(mian)（往(wang)往(wang)是這(zhe)(zhe)樣）。收(shou)錄流量都不(bu)錯。由于最近公司圖片系統更新，圖片的(de)URL全部更改(gai)了(le)，但這(zhe)(zhe)套頁面(mian)并沒(mei)有跟(gen)著更新。

 

如果站點沒有記錄referer怎么辦

iis請在(zai)這里勾(gou)選“cs(Referer)”：

apache請參考:

apache log配置“Combined Log Format”章節

apache log配置的官方(fang)鏈接(jie)

       Nginx請(qing)參(can)考：

nginx log配置(zhi)

nginx log配(pei)置的(de)官方(fang)鏈接

 

       結束語

· 很多SEO問題并(bing)不是立即致命的，所以沒有及(ji)時解決。流量就像螞蟻啃大象一樣(yang)一點一點啃掉了。

· 系統性(xing)的(de)知識積累還是會在(zai)關(guan)鍵時刻發(fa)揮作用的(de)。

· 感謝飛鷹(ying)對本文的修正。