很(hen)(hen)多(duo)站長都說,企業(ye)網(wang)站不(bu)好(hao)做(zuo),那是因為(wei)很(hen)(hen)多(duo)企業(ye)網(wang)站會在設計上對搜索(suo)引擎來(lai)說很(hen)(hen)不(bu)友好(hao),不(bu)利于蜘蛛爬行和(he)抓取,這些技術被(bei)稱(cheng)為(wei)蜘蛛陷阱(jing)。所以(yi)(yi)作(zuo)為(wei)企業(ye)站一定要盡量避(bi)免以(yi)(yi)下八個蜘蛛陷阱(jing)。
第一、FLASH
有的(de)網站整(zheng)個首頁就是(shi)一個很大(da)的(de)flash,這就構成了(le)蜘蛛陷阱。搜(sou)索引擎住宅區的(de)html代碼只有一個鏈向flash文件的(de)鏈接,沒有其他文字內容。
還有(you)網站(zhan)在首頁(ye)的banner就使用一(yi)個flash,并且添(tian)加活動鏈接,雖然(ran)對用戶來說能夠直觀(guan)的看到活動內容,但是對于(yu)蜘(zhi)蛛來說,就無法(fa)識(shi)別,而(er)且抓取不到flash的鏈向地址。
第二、Session ID
有些網站使用(yong)sission ID(會(hui)(hui)話(hua)ID)跟蹤用(yong)戶訪(fang)(fang)(fang)問(wen)(wen),每個(ge)用(yong)戶訪(fang)(fang)(fang)問(wen)(wen)都會(hui)(hui)生成一(yi)(yi)(yi)個(ge)獨特唯(wei)一(yi)(yi)(yi)的(de)session ID,加(jia)(jia)在URL中(zhong)。搜索引擎(qing)蜘蛛的(de)每一(yi)(yi)(yi)次訪(fang)(fang)(fang)問(wen)(wen)也(ye)會(hui)(hui)被當成一(yi)(yi)(yi)個(ge)新(xin)的(de)用(yong)戶,URL中(zhong)會(hui)(hui)加(jia)(jia)上一(yi)(yi)(yi)個(ge)不(bu)同(tong)(tong)的(de)session ID,這樣搜索引 擎(qing)每次來訪(fang)(fang)(fang)問(wen)(wen)時所(suo)得(de)到(dao)的(de)同(tong)(tong)一(yi)(yi)(yi)個(ge)頁(ye)面的(de)URL將不(bu)一(yi)(yi)(yi)樣,后面帶著一(yi)(yi)(yi)個(ge)不(bu)一(yi)(yi)(yi)樣的(de)session ID。這也(ye)是(shi)最常見(jian)的(de)蜘蛛陷(xian)阱之一(yi)(yi)(yi)。
第三、各(ge)種跳(tiao)轉
除(chu)了301跳轉(zhuan)以外,搜索引擎蜘蛛對其他形式的跳轉(zhuan)都比較敏感,如302跳轉(zhuan),javascript跳轉(zhuan)、meta refresh 跳轉(zhuan)。
如果必須轉(zhuan)(zhuan)(zhuan)(zhuan)向(xiang),301轉(zhuan)(zhuan)(zhuan)(zhuan)向(xiang)是搜(sou)索(suo)引擎推薦的(de)、用于網(wang)站(zhan)更改(gai)的(de)轉(zhuan)(zhuan)(zhuan)(zhuan)向(xiang),可以吧頁(ye)面權(quan)重從舊網(wang)址轉(zhuan)(zhuan)(zhuan)(zhuan)移到(dao)新網(wang)址。其他的(de)轉(zhuan)(zhuan)(zhuan)(zhuan)向(xiang)方式(shi)都對蜘蛛爬行不利(li)。所以除非萬(wan)不得(de)已,盡量不要使用301轉(zhuan)(zhuan)(zhuan)(zhuan)向(xiang)以外的(de)跳(tiao)轉(zhuan)(zhuan)(zhuan)(zhuan)。
第四(si)、框架結(jie)構
使用(yong)(yong)框(kuang)(kuang)架(jia)結構設計(ji)頁(ye)面,在網(wang)(wang)站誕生初(chu)期(qi)曾經(jing)聽流(liu)行,但是(shi)現(xian)在網(wang)(wang)站已經(jing)很(hen)少(shao)使用(yong)(yong)框(kuang)(kuang)架(jia)了(le),不利于(yu)搜(sou)索引(yin)(yin)擎(qing)(qing)抓取是(shi)框(kuang)(kuang)架(jia)越來越不流(liu)行的(de)重要原(yuan)因(yin)之一(yi),對于(yu)搜(sou)索引(yin)(yin)擎(qing)(qing)來說,訪問一(yi)個使用(yong)(yong)框(kuang)(kuang)架(jia)的(de)網(wang)(wang)址所(suo)抓取的(de)html只包(bao)含調用(yong)(yong)其(qi)他(ta)html文件的(de)代(dai)碼,并不包(bao)含任何文字信息。搜(sou)索引(yin)(yin)擎(qing)(qing)無(wu)法判斷(duan)這個網(wang)(wang)址的(de)內容(rong)是(shi)什(shen)么(me)。
總之,如(ru)果你(ni)的網站還在使用框(kuang)(kuang)架(jia),或者你(ni)的老板要使用框(kuang)(kuang)架(jia)結構(gou),唯一要記住(zhu)的是,忘記使用框(kuang)(kuang)架(jia)這回(hui)事。和Flash一樣(yang),別浪費時間研究(jiu)怎么讓(rang)搜索引擎收錄框(kuang)(kuang)架(jia)結構(gou)網站。
第五、動態URL
動態(tai)URL值的(de)是數據庫驅動的(de)網(wang)站所生成的(de)、帶有(you)問(wen)號(hao)、等號(hao)及參(can)數的(de)網(wang)址。一般(ban)來說動態(tai)URL不利(li)于(yu)搜索(suo)引(yin)擎蜘(zhi)蛛爬行,應(ying)該盡量避免。雖然百度(du)現在已經能夠識(shi)別動態(tai)URL了,但是也不能保證百分百能識(shi)別。
第六、javaScript鏈(lian)接
由于javaScript可以創再出很多吸引人的(de)視覺效(xiao)果,有些網站喜歡使用javascript腳(jiao)本生成(cheng)導航系統。這也是比較嚴(yan)重的(de)蜘(zhi)蛛(zhu)陷阱(jing)之一,雖然(ran)搜(sou)(sou)索引擎都在嘗試解析JS腳(jiao)本,不過我(wo)們不能寄希望與搜(sou)(sou)索引擎自己去客服(fu)困難,而(er)要讓搜(sou)(sou)索引擎跟蹤爬行(xing)鏈接的(de)工作盡(jin)量簡單容易(yi)。
jacascritp鏈(lian)接(jie)在SEo中也有特殊用途,那就是站長不希望(wang)(wang)被收錄(lu)的頁面,比希望(wang)(wang)被百度抓起的鏈(lian)接(jie),可以(yi)使(shi)用javascript腳本阻(zu)止搜索引擎蜘(zhi)蛛爬行
第七(qi)、要求登錄(lu)
有些網(wang)站(zhan)的(de)內容需要用戶登錄后才(cai)能看(kan)到(dao)的(de)頁面(mian),這(zhe)部分內容搜索引擎是(shi)(shi)無法看(kan)到(dao)的(de)。這(zhe)個要注意確定是(shi)(shi)否(fou)是(shi)(shi)需要登錄以后才(cai)能看(kan)到(dao)。
第八、強制(zhi)使(shi)用(yong)cookies
很多網站為了(le)實現某種功能(neng),強制使用(yong)cookies,用(yong)戶瀏覽器如(ru)果沒有啟用(yong)cookies,頁面顯示不正常。搜索(suo)引擎(qing)蜘蛛(zhu)就相當于一個(ge)禁止了(le)cookies的瀏覽器,強制使用(yong)cookies只能(neng)造成搜索(suo)引擎(qing)蜘蛛(zhu)無法正常訪問。
雖然(ran)現(xian)在搜(sou)索引擎在不(bu)斷完善他的(de)抓(zhua)取功能,但(dan)是我們也要(yao)盡量避免不(bu)友(you)好的(de)頁(ye)面,不(bu)然(ran)會給我們的(de)網站帶來不(bu)必要(yao)的(de)麻煩。