一種網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

基本信息

申請(qǐng)?zhí)?/td> CN202110169027.3 申請(qǐng)日 -
公開（公告）號(hào) CN112818201A 公開（公告）日 2021-05-18
申請(qǐng)公布號(hào) CN112818201A 申請(qǐng)公布日 2021-05-18
分類號(hào) G06F16/951;G06F16/958 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 龔劍;徐楨虎;唐弋松;占?xì)J 申請(qǐng)（專利權(quán)）人 四川封面?zhèn)髅接邢挢?zé)任公司
代理機(jī)構(gòu) 成都頂峰專利事務(wù)所（普通合伙） 代理人 楊國(guó)瑞
地址 610000 四川省成都市錦江區(qū)紅星路二段70號(hào)1棟8樓A區(qū)
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，公開了一種網(wǎng)絡(luò)數(shù)據(jù)采集方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。通過(guò)本發(fā)明創(chuàng)造，提供了一種基于模擬用戶行為工具Se l n ium的網(wǎng)絡(luò)數(shù)據(jù)采集方案，即可以在獲取待執(zhí)行抓取任務(wù)后，應(yīng)用模擬用戶行為工具Se l n ium依次執(zhí)行排序的抓取任務(wù)，然后解析抓取的網(wǎng)頁(yè)內(nèi)容，得到可存放的結(jié)構(gòu)化數(shù)據(jù)，從而可通過(guò)模擬真實(shí)用戶行為繞過(guò)目標(biāo)服務(wù)器的用戶行為檢測(cè)，拿到真實(shí)的數(shù)據(jù)，不但可以提升采集效率和質(zhì)量，降低維護(hù)成本，還可以很好的隱藏自身的行為，具有很強(qiáng)的隱蔽性，而且不用詳細(xì)分析網(wǎng)頁(yè)接口與頁(yè)面渲染，具有高便利性和通用性。