高訪問情況下的爬蟲封禁方法

基本信息

申請(qǐng)?zhí)?/td> CN201610259811.2 申請(qǐng)日 -
公開（公告）號(hào) CN105827619B 公開（公告）日 2019-02-15
申請(qǐng)公布號(hào) CN105827619B 申請(qǐng)公布日 2019-02-15
分類號(hào) H04L29/06;H04L29/08;G06F21/56;G06F16/953 分類 電通信技術(shù);
發(fā)明人 李興濤;王儒敬;王偉 申請(qǐng)（專利權(quán)）人 無(wú)錫中科富創(chuàng)科技孵化有限公司
代理機(jī)構(gòu) 無(wú)錫市大為專利商標(biāo)事務(wù)所（普通合伙） 代理人 無(wú)錫中科富農(nóng)物聯(lián)科技有限公司;安徽中科物聯(lián)科技有限公司;江蘇物聯(lián)網(wǎng)研究發(fā)展中心
地址 214135 江蘇省無(wú)錫市新區(qū)菱湖大道200號(hào)江蘇物聯(lián)網(wǎng)研究與發(fā)展中心C座3樓
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種高訪問情況下的爬蟲封禁方法，用于在高訪問量情況下快速的判斷一個(gè)訪問者是否在訪問黑名單中并且實(shí)施封禁，并且有效地維護(hù)名單庫(kù)的正確性。本發(fā)明涉及以下步驟：提取請(qǐng)求的ip或者id信息；名單庫(kù)預(yù)先導(dǎo)入到內(nèi)存中，在高訪問量的情況下只有通過內(nèi)存查找才能滿足低響應(yīng)時(shí)間的要求，通過在內(nèi)存的名單庫(kù)中查找判斷id是否在黑名單中；對(duì)于是黑名單的拒絕訪問；考慮到名單庫(kù)會(huì)不斷變動(dòng)，而且在訪問量太大的時(shí)候應(yīng)用會(huì)部署到不同服務(wù)器中，對(duì)于怎樣保證不同服務(wù)器中名單庫(kù)的一致性，增加了服務(wù)模塊定時(shí)進(jìn)行名單一致性維護(hù)。本發(fā)明結(jié)合了共享內(nèi)存使用名單庫(kù)和增加服務(wù)附件模塊的方法，減少了爬取判定的響應(yīng)時(shí)間。