午夜91福利视频,午夜成人在线观看,午夜在线视频免费观看,午夜福利短视频,精品午夜成人免费视频APP

幫助

如何識別Baiduspider是否來抓取

2019-09-29 09:06 優化推廣

上(shang)周百度站(zhan)長(chang)平(ping)臺接到某(mou)站(zhan)長(chang)求助,表示(shi)誤封禁了Baiduspider的IP,詢問是否有辦法獲得Baiduspider的所有IP,打算放入白(bai)名單(dan)加以保護,防止(zhi)再次誤封。在此要告訴各位站(zhan)長(chang),Baiduspider的IP池是不斷變動的,我們無法提供(gong)IP全集。

除此之外(wai),之前還有站長(chang)發(fa)來質疑說Baiduspider光顧過于頻繁(fan),已超越服務器承(cheng)受能(neng)力。而百(bai)度站長(chang)平臺追查發(fa)現(xian),Baiduspider對該站點的抓取并無異常,那(nei)只spider極有可能(neng)是個李(li)鬼。

 那(nei)么,站長(chang)該(gai)如何通過IP來判斷此spider是(shi)不是(shi)來自百度搜索引擎的(de)呢?

可以通過DNS反查(cha)方式來解決這個問題。根據平(ping)臺不同(tong)驗證方法不同(tong),如linux/windows/os三(san)種平(ping)臺下(xia)的驗證方法分別如下(xia):

1、在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式(shi)命名,非 *.baidu.com 或(huo) *.baidu.jp 即為冒充。

2、在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命(ming)名,非 *.baidu.com 或 *.baidu.jp 即(ji)為冒(mao)充。

3、在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命(ming)名,非 *.baidu.com 或 *.baidu.jp 即為冒充。


相關推薦

工作日 8:30-12:00 14:30-18:00
 周(zhou)六(liu)及部分節(jie)假日提供(gong)值班服(fu)務

易(yi)小優
轉人工 ×