我們(men)(men)做SEO優化要經常分析(xi)(xi)網(wang)站日志(zhi)，網(wang)站日志(zhi)的(de)分析(xi)(xi)和診斷(duan)就像給網(wang)站看病一樣，我們(men)(men)通過(guo)網(wang)站日志(zhi)的(de)分析(xi)(xi)，可以(yi)更加清楚的(de)知道網(wang)站的(de)健康狀況，可以(yi)利于這些(xie)數(shu)據讓(rang)我們(men)(men)更好(hao)的(de)做網(wang)站SEO優化，今天海瑤(yao)SEO發包技(ji)術小編(bian)和大(da)家(jia)分享下網(wang)站日志(zhi)分析(xi)(xi)和診斷(duan)，如果有什么不對的(de)地(di)方，可留言提問大(da)家(jia)一起探討交(jiao)流!

網站日志又稱蜘蛛(zhu)日志，它是成千(qian)上萬(wan)個(ge)“蜘(zhi)蛛”小(xiao)爬蟲(chong)(chong)程(cheng)序每天爬行(xing)數千(qian)萬(wan)個(ge)網站(zhan)，這(zhe)個(ge)小(xiao)爬蟲(chong)(chong)程(cheng)序就是“蜘(zhi)蛛”，它在網站(zhan)爬行(xing)后留下的軌跡(ji)或痕跡(ji)就是“日(ri)志”。

常見的(de)蜘蛛名稱：

Baiduspider;Baiduspider-Image;Googlebot;Googlebot-Image;360Spider;sogou spider。

一、網站(zhan)日志的重要作用?

1、通過網(wang)(wang)站(zhan)(zhan)日(ri)志(zhi)可以(yi)(yi)了解蜘(zhi)(zhi)蛛對網(wang)(wang)站(zhan)(zhan)的(de)(de)基(ji)本爬(pa)(pa)取(qu)(qu)情況，可以(yi)(yi)知(zhi)道蜘(zhi)(zhi)蛛的(de)(de)爬(pa)(pa)取(qu)(qu)軌跡和爬(pa)(pa)取(qu)(qu)量，通過我們(men)的(de)(de)網(wang)(wang)站(zhan)(zhan)日(ri)志(zhi)，外(wai)鏈(lian)的(de)(de)多和少(shao)和網(wang)(wang)站(zhan)(zhan)蜘(zhi)(zhi)蛛的(de)(de)爬(pa)(pa)取(qu)(qu)量是(shi)有直(zhi)接(jie)影(ying)響(xiang)的(de)(de)，我們(men)所說(shuo)的(de)(de)鏈(lian)接(jie)誘餌就是(shi)如果你(ni)做了一個外(wai)鏈(lian)，蜘(zhi)(zhi)蛛在爬(pa)(pa)取(qu)(qu)這個外(wai)鏈(lian)頁面并把頁面放出來時，蜘(zhi)(zhi)蛛可以(yi)(yi)通過你(ni)留的(de)(de)這個鏈(lian)接(jie)來爬(pa)(pa)取(qu)(qu)你(ni)的(de)(de)網(wang)(wang)站(zhan)(zhan)，而網(wang)(wang)站(zhan)(zhan)日(ri)志(zhi)正(zheng)是(shi)會記錄下蜘(zhi)(zhi)蛛的(de)(de)這次爬(pa)(pa)取(qu)(qu)行動(dong)。

2、網站的(de)更新(xin)(xin)頻率也和網站日(ri)志中蜘蛛(zhu)抓(zhua)(zhua)取(qu)的(de)頻率有關，一般來(lai)說(shuo)更新(xin)(xin)頻率越高，蜘蛛(zhu)的(de)抓(zhua)(zhua)取(qu)頻率越高，而我們(men)網站的(de)更新(xin)(xin)不(bu)僅僅只是新(xin)(xin)內容的(de)添加同時還有我們(men)的(de)微調(diao)操作。

3、我們可以根(gen)據(ju)網(wang)站(zhan)日(ri)志的(de)(de)反(fan)應情況(kuang)，對我們的(de)(de)空間的(de)(de)某(mou)些事情和問(wen)題提前進行預(yu)警，因為服(fu)務器如果出(chu)問(wen)題的(de)(de)話在網(wang)站(zhan)日(ri)志中會(hui)第一時間反(fan)映出(chu)來，要知道服(fu)務器的(de)(de)穩定速度和打開(kai)速度兩者都會(hui)直接影響我們的(de)(de)網(wang)站(zhan)。

4、通過網(wang)站日(ri)志我們(men)可以知道網(wang)站的那些(xie)頁面(mian)是(shi)很受蜘蛛(zhu)歡(huan)迎的，而哪些(xie)頁面(mian)是(shi)蜘蛛(zhu)連碰都不(bu)去碰的，同時我們(men)還能發現有(you)一些(xie)蜘蛛(zhu)由于(yu)是(shi)過度爬取對我們(men)的服務器資源損(sun)耗是(shi)很大的，我們(men)要進(jin)行屏蔽(bi)工作。

二、如何(he)下載日志及日志設置注意事項?

1、首先(xian)我(wo)們(men)的空(kong)(kong)間要支持網站(zhan)日(ri)(ri)志(zhi)(zhi)下載(zai)，這一(yi)點(dian)是(shi)(shi)很重要的，在(zai)我(wo)們(men)購買空(kong)(kong)間之前(qian)必須要先(xian)問好支不支持網站(zhan)日(ri)(ri)志(zhi)(zhi)下載(zai)，因為有的服務(wu)商(shang)是(shi)(shi)不提供這項服務(wu)的，如果(guo)支持的話空(kong)(kong)間后臺一(yi)般都有日(ri)(ri)志(zhi)(zhi)WebLog日(ri)(ri)志(zhi)(zhi)下載(zai)這個功能把它(ta)下載(zai)到根目錄(lu)在(zai)用FTP傳(chuan)到本地(di)就可以(yi)，服務(wu)器的話可以(yi)設(she)置將日(ri)(ri)志(zhi)(zhi)文(wen)件下載(zai)到指(zhi)定路徑。

2、這里(li)有個(ge)(ge)很重要的問題，網站(zhan)(zhan)日志強烈建議設(she)置成(cheng)(cheng)每小時生成(cheng)(cheng)一次，小型的企業站(zhan)(zhan)和頁面(mian)內容(rong)(rong)較少的網站(zhan)(zhan)可(ke)以(yi)設(she)置成(cheng)(cheng)一天，它(ta)默認是一天，如果內容(rong)(rong)多或者大型站(zhan)(zhan)設(she)置成(cheng)(cheng)一天生成(cheng)(cheng)一次，那(nei)么一天只生成(cheng)(cheng)一個(ge)(ge)文件，這個(ge)(ge)文件會相(xiang)當(dang)的大，我們(men)有時電腦打開是會造成(cheng)(cheng)死(si)機，設(she)置的話找空間商協(xie)調設(she)置即可(ke)。

三、網站(zhan)日志的分析。

1、日志(zhi)的后綴名是log的我(wo)們用記(ji)事本打開，選(xuan)擇(ze)格式里的自動換行這樣看起來方便，同時用搜索(suo)功能搜索(suo)BaiduSpider和Googlebot這兩(liang)個蜘蛛。

例如：

百(bai)度蜘(zhi)蛛 2012-03-13 00：47：10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+(+ baidu /search/spider ) 200 0 0 15256 197 265

谷(gu)歌機器(qi)人(ren) 2012-03-13 08：18：48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+(+ google /bot ) 200 0 0 985 200 31

我們分段來解釋

2012-03-13 00：47：10 蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)爬取的日期(qi)和時(shi)間點;W3SVC177 這(zhe)(zhe)個(ge)(ge)是(shi)機器(qi)碼(ma)這(zhe)(zhe)個(ge)(ge)是(shi)惟一(yi)的 我(wo)們不去管它;116.255.169.37 這(zhe)(zhe)個(ge)(ge)IP地(di)址(zhi)是(shi)服(fu)務器(qi)的IP地(di)址(zhi);GET 代表(biao)事件，GET后面就是(shi)蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)爬取的網站頁面，斜杠就代表(biao)首頁，80 是(shi)端口的意思，220.181.51.144 這(zhe)(zhe)個(ge)(ge)IP則是(shi)蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)的IP，這(zhe)(zhe)里海瑤(yao)SEO快排發(fa)包技術小編告訴大家一(yi)個(ge)(ge)鑒別真假(jia)百度(du)蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)的方(fang)法，我(wo)們電腦點擊開始(shi)運行輸(shu)入cmd打(da)開命(ming)令提(ti)示符，輸(shu)入nslookup空格加蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)IP點擊回車，一(yi)般真百度(du)蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)都有(you)自(zi)己(ji)的服(fu)務器(qi)IP而假(jia)蜘(zhi)(zhi)(zhi)蛛(zhu)(zhu)(zhu)則沒(mei)有(you)。

如果網站中出現了(le)大量的假蜘(zhi)蛛則說明有人冒(mao)充百度蜘(zhi)蛛來采集你的內容，你就需(xu)要注(zhu)意了(le)，如果太猖獗那會(hui)很占用你的服務器資源，我們需(xu)要屏蔽他們的IP.

200 0 0這(zhe)里是狀態(tai)碼(ma) 狀態(tai)碼(ma)的意思(si)可以在百度里搜(sou)索下;197 265最后兩個數字(zi)(zi)則代表著訪問和下載的數據字(zi)(zi)節數。

2、我(wo)們(men)(men)分析的(de)時(shi)候(hou)先看看狀態碼(ma) 200代表下載(zai)成功，304代表頁面未修改(gai)，500代表服務器超時(shi)，這些是一般的(de)其他代碼(ma)可以百(bai)度一下，對于不同(tong)的(de)問(wen)題我(wo)們(men)(men)要處理(li)。

3、我們要看蜘蛛經常爬(pa)取哪(na)些(xie)頁面，我們要記錄下來，分析(xi)他們為什么(me)會經常被蜘蛛爬(pa)取，從而分析(xi)出(chu)蜘蛛所喜(xi)歡內(nei)容。

4、有(you)時(shi)候我們的(de)路徑不(bu)統(tong)一出現帶斜(xie)杠(gang)和不(bu)帶斜(xie)杠(gang)的(de)問題，蜘蛛會(hui)自動(dong)識(shi)別為301跳(tiao)轉(zhuan)到帶斜(xie)杠(gang)的(de)頁(ye)面，這里我們就發(fa)現了搜索引擎是可以判斷我們的(de)目(mu)錄(lu)的(de)，所以我們要(yao)對我們的(de)目(mu)錄(lu)進行統(tong)一。

5、我(wo)們分(fen)析日志分(fen)析時間長了(le)，我(wo)們能夠看(kan)出(chu)蜘蛛的抓取(qu)(qu)規律(lv)，同(tong)一目(mu)錄下面的單個文(wen)件(jian)的抓取(qu)(qu)頻(pin)(pin)率間隔和(he)不(bu)同(tong)目(mu)錄的抓取(qu)(qu)頻(pin)(pin)率間隔都可以看(kan)出(chu)來(lai)，這(zhe)些抓取(qu)(qu)頻(pin)(pin)率間隔時間是蜘蛛根據網站(zhan)權重和(he)網站(zhan)更新頻(pin)(pin)率來(lai)自動確定的。

6、蜘(zhi)蛛對于我們的(de)頁(ye)(ye)面的(de)抓(zhua)取是分等(deng)級的(de)，是根據權重依次遞減的(de)，一般順序為首(shou)頁(ye)(ye)、目錄頁(ye)(ye)、內(nei)頁(ye)(ye)。

7、不(bu)同IP的蜘蛛他們的抓取頻率也是不(bu)相同的

四、那么通過網站日志我們能(neng)知道什么?

1、我們發(fa)的外鏈是否起到效(xiao)果?

2、我們買的空間(jian)是否能夠穩定?

3、蜘(zhi)蛛對我們的那些(xie)頁面比較喜歡而(er)對哪些(xie)不喜歡?

4、蜘蛛什(shen)么時候抓取我們的網(wang)站頻(pin)繁，我們需要什(shen)么時候更新內容(rong)?

總結：

所以(yi)(yi)不管(guan)是(shi)新站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)還是(shi)老網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)，不管(guan)你(ni)做百度還是(shi)Google我們(men)(men)(men)都能通(tong)過(guo)網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)日志(zhi)分析(xi)(xi)出來搜(sou)索(suo)(suo)引(yin)擎(qing)蜘蛛(zhu)抓取的(de)情況(kuang);如果網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)長(chang)時間收錄(lu)有問題，那么(me)我們(men)(men)(men)也可(ke)以(yi)(yi)對比網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)日志(zhi)中的(de)搜(sou)索(suo)(suo)引(yin)擎(qing)蜘蛛(zhu)行(xing)為，來了(le)解網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)是(shi)哪方(fang)面出了(le)問題;如果網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)被封，或者被K，我們(men)(men)(men)都可(ke)以(yi)(yi)通(tong)過(guo)觀察(cha)網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)日志(zhi)的(de)情況(kuang)來了(le)解原因(yin)出在什么(me)地方(fang)。我們(men)(men)(men)要看的(de)網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)日志(zhi)的(de)分析(xi)(xi)和(he)診(zhen)斷就像給網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)看病一樣(yang)，我們(men)(men)(men)通(tong)過(guo)網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)日志(zhi)的(de)分析(xi)(xi)，可(ke)以(yi)(yi)簡單明了(le)的(de)就知道網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)的(de)健康狀況(kuang)，可(ke)以(yi)(yi)利于我們(men)(men)(men)更好的(de)做網(wang)(wang)(wang)站(zhan)(zhan)(zhan)(zhan)(zhan)(zhan)優化，所以(yi)(yi)對于真正的(de)SEO高(gao)手而言，分析(xi)(xi)蜘蛛(zhu)日志(zhi)是(shi)最(zui)直觀，最(zui)有效的(de)額。