一種多網(wǎng)站并行爬取的IP代理池的構(gòu)建系統(tǒng)和方法

基本信息

申請?zhí)?/td> CN202111407941.3 申請日 -
公開（公告）號 CN114143290A 公開（公告）日 2022-03-04
申請公布號 CN114143290A 申請公布日 2022-03-04
分類號 H04L61/5061（2022.01）I;H04L61/5007（2022.01）I;H04L61/5053（2022.01）I;H04L67/56（2022.01）I;G06F16/951（2019.01）I 分類 電通信技術(shù);
發(fā)明人 周小敏;應(yīng)鴻暉;林國池;石易;麥麗娟;莫凡;林佳濤;黃福鴻;李高翔;卓采標(biāo);楊慧強(qiáng);廖淑敏;宋宜昌;周毅;黃正國;吳冠標(biāo);李新;蔣維;曹勇;高歡 申請（專利權(quán)）人 天津市國瑞數(shù)碼安全系統(tǒng)股份有限公司
代理機(jī)構(gòu) 北京力量專利代理事務(wù)所（特殊普通合伙） 代理人 王鴻遠(yuǎn)
地址 510075廣東省廣州市天河區(qū)建中路4號
法律狀態(tài) -

摘要

摘要 本發(fā)明屬于IP代理技術(shù)領(lǐng)域，具體涉及一種多網(wǎng)站并行爬取的IP代理池的構(gòu)建系統(tǒng)和方法，所述構(gòu)建系統(tǒng)包括：IP驗(yàn)證模塊，用于對初始IP集合內(nèi)的代理IP進(jìn)行代理可用性驗(yàn)證，并將可用的代理IP置入有效隊(duì)列中，得到有效IP集合；IP標(biāo)記模塊，用于對有效IP集合內(nèi)的代理IP進(jìn)行逐一標(biāo)記，得到具有標(biāo)記信息的標(biāo)記IP集合；IP組合模塊，用于獲取若干待爬取網(wǎng)站信息并為每個待爬取網(wǎng)站構(gòu)建對應(yīng)的網(wǎng)站代理IP隊(duì)列，還用于基于待爬取網(wǎng)站信息在標(biāo)記IP集合中挑取標(biāo)記信息與其匹配的代理IP，并將挑取的代理IP置入與其匹配的網(wǎng)站代理IP隊(duì)列中。上述構(gòu)建系統(tǒng)構(gòu)建了多網(wǎng)站并行爬取代理池，實(shí)現(xiàn)了多網(wǎng)站并行爬取，進(jìn)而提高代理IP的利用率以及爬取成功率。