5 月 25 日(ri),VIP大講堂-網站(zhan)安全那些事兒成功(gong)舉辦,現場發(fa)布百(bai)度對HTTPS站(zhan)點(dian)全流(liu)程(cheng)支持方(fang)案(an),收到站(zhan)長(chang)們廣泛關注(zhu)!學院(yuan)君貼心的將(jiang)現場演講提煉成文字(zi)版本帶給大家,快來(lai)看(kan)吧!
HTTPS優勢
HTTPS是(shi)基于tls和(he)ssl加密的http協議,網絡傳輸是(shi)加密的,因此它的安(an)全是(shi)顯而易見的,包括(kuo)防(fang)竊聽、篡改、劫持(chi)。
HTTPS的收錄機制
1、Spider如何發現(xian)HTTPS
1)、根據網(wang)頁中的超鏈接是(shi)否是(shi)HTTPS,網(wang)絡中會(hui)有一些超鏈,如果(guo)是(shi)HTTPS會(hui)認(ren)為(wei)是(shi)HTTPS站(zhan)點(dian)。
2)、根據站(zhan)長平臺提(ti)(ti)交入口的(de)提(ti)(ti)交方式(shi),例(li)如主(zhu)動提(ti)(ti)交,如果在文件當(dang)中(zhong)提(ti)(ti)交的(de)是HTTPS鏈接會以HTTPS的(de)形式(shi)來發現。
3)、參(can)考前鏈的抓(zhua)取相對路徑(jing),第一個(ge)網頁是(shi)(shi)HTTPS的,網站內容里面的路徑(jing)提供的是(shi)(shi)相對路徑(jing),會認為這種鏈接(jie)是(shi)(shi)HTTPS。
4)、參(can)考鏈接的(de)歷史狀況,使用這種方式(shi)的(de)原(yuan)因(yin)主(zhu)要是為了糾(jiu)錯,如果錯誤提取(qu)HTTPS會(hui)遇到兩種情況,一種因(yin)為HTTPS不可(ke)訪(fang)問會(hui)抓(zhua)取(qu)失敗,第二即使能抓(zhua)成功可(ke)能展現出(chu)來的(de)可(ke)能不是站長希望的(de),所以會(hui)有一定的(de)糾(jiu)錯。
2、HTTPS鏈(lian)接的(de)抓(zhua)取(qu)
現在比較(jiao)常見的(de)兩種(zhong),第一種(zhong)是(shi)(shi)純HTTPS抓取(qu),就是(shi)(shi)它沒(mei)有(you)http的(de)版(ban)本,第二個是(shi)(shi)通(tong)過http重(zhong)定向(xiang)到HTTPS,這兩種(zhong)都能正常的(de)進行抓取(qu)跟http抓取(qu)的(de)效(xiao)果是(shi)(shi)一樣的(de)。
3、HTTPS的展(zhan)現
對于HTTPS數據,展現(xian)端(duan)會(hui)有明顯的提示
站長平臺(tai)支持全站HTTPS配置
1、HTTPS配置
之前有一些站長改HTTPS,會疑問為什么站點有些鏈接是以http的形式來抓呢?為什么沒有全站都是以HTTPS的形式來抓取呢?因為以前的機制是url級的,HTTPS抓完一條替換一條,整站需要全抓完才能全部替換掉,現在大家訪問站長平臺可以發現,左邊工具欄多了HTTPS認證的功能,站長平臺已經全站支持HTTPS,點這個功能后會有提示引導我們去怎么做,需要提醒是(shi)需要全站(zhan)支持HTTPS,才進行(xing)點(dian)擊,如(ru)果(guo)不支持的話對(dui)站(zhan)點(dian)會有一(yi)些副作(zuo)用。
2、HTTPS驗證
當站長在平臺上做了配置以后(hou)首先會(hui)(hui)有HTTPS驗(yan)(yan)(yan)證,驗(yan)(yan)(yan)證確認站長是(shi)(shi)否(fou)誤配,具體(ti)會(hui)(hui)檢(jian)查https鏈接是(shi)(shi)不(bu)是(shi)(shi)可抓取的(de)。另外會(hui)(hui)對HTTPS的(de)證書校驗(yan)(yan)(yan),包括它(ta)(ta)的(de)合法性、是(shi)(shi)否(fou)過期、跟它(ta)(ta)本身的(de)域名是(shi)(shi)否(fou)一致,從這三個角度做校驗(yan)(yan)(yan)。
3、HTTPS生效
校驗通過后,生效方(fang)式(shi)從這三(san)個(ge)角度進行(xing)
1)、全站抓(zhua)(zhua)取以HTTPS的方式來抓(zhua)(zhua),這會在抓(zhua)(zhua)取上做一(yi)定的切(qie)換(huan)
2)、全站的(de)展現樣(yang)式也會直接切換成(cheng)HTTPS,用了這個功能的(de)好(hao)處是會比以前快很多,會略(lve)過已收錄的(de)網頁(ye)直接到(dao)HTTPS。
常見問(wen)題:
1、站長(chang)升級HTTPS是不是會影響爬蟲(chong)抓取?不會。爬蟲(chong)對https的合法鏈接都(dou)能抓
2、站(zhan)長升(sheng)級(ji)HTTPS是不(bu)(bu)是會(hui)(hui)影響索引(yin)量?不(bu)(bu)會(hui)(hui)的(de)(de),建(jian)庫做了(le)相應升(sheng)級(ji),HTTPS的(de)(de)建(jian)庫是不(bu)(bu)會(hui)(hui)有延(yan)遲(chi)的(de)(de)。
3、站長升級HTTPS是不(bu)是會(hui)影響排名(ming)(ming)(ming)點擊流量?不(bu)會(hui),HTTPS改造是不(bu)涉及到(dao)域名(ming)(ming)(ming)切(qie)換,或者說老域名(ming)(ming)(ming)到(dao)新域名(ming)(ming)(ming)樣式的(de)轉變等等這個是不(bu)涉及的(de),可以(yi)做(zuo)到(dao)完全(quan)無損的(de)切(qie)換。
4、站長(chang)升級的(de)HTTPS是(shi)不是(shi)會(hui)影響移(yi)動適配?不會(hui)有這(zhe)種情況。
5、站長(chang)(chang)升級HTTPS是不是會(hui)影響(xiang)站長(chang)(chang)平(ping)臺(tai)工具?不會(hui),站長(chang)(chang)平(ping)臺(tai)鏈接提交(jiao)等工具已(yi)經都支持(chi)HTTPS了(le)。
站(zhan)點(dian)建議
1、建(jian)議站長從http到(dao)HTTPS的 301 跳轉(zhuan),不建(jian)議只有(you)HTTPS,而無http到(dao)HTTPS的跳轉(zhuan)關系,只用HTTPS訪(fang)問對(dui)用戶來(lai)說(shuo),可能會遇到(dao)問題。
2、不建(jian)議(yi)HTTPS、http這(zhe)兩種版(ban)本(ben)(ben)(ben)并存(cun),這(zhe)種情況(kuang)存(cun)在三種問題,第一(yi)個它(ta)的(de)(de)維護成本(ben)(ben)(ben)比較(jiao)高,需要維護兩個版(ban)本(ben)(ben)(ben);第二個做不到絕對安全,http訪問有(you)不安全風險;第三有(you)不一(yi)致(zhi)的(de)(de)可能性,隨著長遠的(de)(de)發展(zhan)這(zhe)兩個版(ban)本(ben)(ben)(ben)可能會越(yue)來越(yue)不一(yi)致(zhi),會影(ying)響(xiang)用戶體驗,我們建(jian)議(yi)站(zhan)長做了HTTPS之后能對HTTPS做一(yi)定的(de)(de)跳轉(zhuan)預設。
3、HTTPS回退到HTTP極(ji)不建(jian)議(yi)。例如線上已經展示HTTPS的鏈接給用戶點擊,如果站長回退到http,用戶在瀏覽器里面點開的時候會展現死鏈的樣式是非常不建議的,做這個之前一定考慮。如果實在想做回退,請在站(zhan)長(chang)平臺提(ti)交HTTPS校驗,并(bing)建議站點提前至少 24 小(xiao)時在平臺提交回退,這樣能夠(gou)保證站長的(de)點擊不會(hui)出現死鏈的(de)形式,這點非常(chang)重要。
4、HTTPS網頁(ye)沒(mei)(mei)有建(jian)設完成之前不(bu)要在互聯網上提供超(chao)鏈(lian)接,之前遇到過(guo)好幾個(ge)(ge)case,本(ben)身HTTPS并沒(mei)(mei)有做完,兩個(ge)(ge)版本(ben)都存(cun)在,但是(shi)http是(shi)用戶可訪問的,或者說HTTPS的頁(ye)面(mian)是(shi)一個(ge)(ge)臨時性的假頁(ye)面(mian),這樣站點有可能就以HTTPS的形式展現出(chu)來,會引起用戶體(ti)驗問題(ti)。