一種信息爬取系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201910510474.3 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN111339388B 公開(kāi)（公告）日 2021-07-27
申請(qǐng)公布號(hào) CN111339388B 申請(qǐng)公布日 2021-07-27
分類(lèi)號(hào) G06F16/951（2019.01）I;G06F16/955（2019.01）I 分類(lèi) 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 胡崇海;熊友根;王洪濤 申請(qǐng)（專(zhuān)利權(quán)）人 海通證券股份有限公司
代理機(jī)構(gòu) 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 代理人 吳敏
地址 200001上海市黃浦區(qū)廣東路689號(hào)
法律狀態(tài) -

摘要

摘要 一種信息爬取系統(tǒng)，所述信息爬取系統(tǒng)包括：多個(gè)智能爬取節(jié)點(diǎn)，所述智能爬取節(jié)點(diǎn)部署在多個(gè)撥號(hào)虛擬專(zhuān)用服務(wù)器上，基于信息爬取時(shí)間與信息爬取狀態(tài)，動(dòng)態(tài)切換所述撥號(hào)虛擬專(zhuān)用服務(wù)器的IP地址；資源調(diào)度系統(tǒng)，所述資源調(diào)度系統(tǒng)基于調(diào)度算法將待爬取鏈接分配給所述智能爬取節(jié)點(diǎn)以使其執(zhí)行爬取操作，并從各個(gè)智能爬取節(jié)點(diǎn)接收爬取結(jié)果。通過(guò)本發(fā)明提供的技術(shù)方案，可以建立穩(wěn)定的爬蟲(chóng)系統(tǒng)，有效應(yīng)對(duì)反爬策略，實(shí)現(xiàn)數(shù)據(jù)的持續(xù)獲取。