一種爬蟲系統(tǒng)及其方法

基本信息

申請?zhí)?/td> CN201410259561.3 申請日 -
公開（公告）號 CN104008190A 公開（公告）日 2014-08-27
申請公布號 CN104008190A 申請公布日 2014-08-27
分類號 G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 于權(quán) 申請（專利權(quán)）人 南京博識信息技術(shù)有限公司
代理機(jī)構(gòu) 南京鐘山專利代理有限公司 代理人 戴朝榮
地址 210000 江蘇省南京市下關(guān)區(qū)和燕路63號二期1幢3層
法律狀態(tài) -

摘要

摘要 一種爬蟲系統(tǒng)及其方法，包括帶有用于動態(tài)網(wǎng)頁的爬蟲系統(tǒng)的爬蟲節(jié)點(diǎn)，爬蟲節(jié)點(diǎn)同互聯(lián)網(wǎng)相連接，所述的互聯(lián)網(wǎng)中包含有網(wǎng)站服務(wù)器，所述的網(wǎng)站服務(wù)器中包含有帶有頻道的網(wǎng)站，所述的爬蟲節(jié)點(diǎn)中還包括有瀏覽器、用于采集結(jié)果的數(shù)據(jù)庫和頻道庫，所述的網(wǎng)站服務(wù)器中還包含有頻道列表信息。這樣的結(jié)構(gòu)結(jié)合其方法避免了現(xiàn)有技術(shù)中無法通過訪問時(shí)間的值來控制爬蟲是否繼續(xù)爬取網(wǎng)頁內(nèi)容這樣就極大地限制了爬蟲的使用效率的缺陷。