一種網(wǎng)頁數(shù)據(jù)采集方法、裝置、系統(tǒng)及介質(zhì)

基本信息

申請?zhí)?/td> CN202110258442.6 申請日 -
公開（公告）號 CN112948659A 公開（公告）日 2021-06-11
申請公布號 CN112948659A 申請公布日 2021-06-11
分類號 G06F16/951;G06F16/9536 分類 計算；推算；計數(shù);
發(fā)明人 葉世立 申請（專利權(quán)）人 深圳九星互動科技有限公司
代理機構(gòu) 廣東良馬律師事務所 代理人 李良
地址 518000 廣東省深圳市前海深港合作區(qū)南山街道興海大道3046號香江金融大廈2809-2817
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種網(wǎng)頁數(shù)據(jù)采集方法、裝置、系統(tǒng)及介質(zhì)，方法包括：接收網(wǎng)頁數(shù)據(jù)采集請求并生成相應的采集配置文件；根據(jù)所述采集配置文件生成若干個相應的網(wǎng)絡爬蟲并形成消息列隊；通過派發(fā)的采集任務控制所述消息列隊中的網(wǎng)絡爬蟲協(xié)同采集，獲取目標網(wǎng)頁數(shù)據(jù)；對所述目標網(wǎng)頁數(shù)據(jù)進行分類過濾后存儲至預設數(shù)據(jù)庫。本發(fā)明實施例通過將生成的網(wǎng)絡爬蟲形成消息列隊，在進行數(shù)據(jù)采集時通過派發(fā)采集任務控制所述消息列隊中的網(wǎng)絡爬蟲協(xié)同采集，使得能根據(jù)實際服務器資源負載靈活調(diào)整網(wǎng)絡爬蟲的采集任務，有效均衡了網(wǎng)頁數(shù)據(jù)采集時的服務器資源負載。