一種抓取網(wǎng)頁(yè)內(nèi)容的方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN201410843691.1 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104866517A 公開(kāi)（公告）日 2015-08-26
申請(qǐng)公布號(hào) CN104866517A 申請(qǐng)公布日 2015-08-26
分類號(hào) G06F17/30(2006.01)I;G06F17/27(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 狄東杰;孫德山;姚臻 申請(qǐng)（專利權(quán)）人 智慧城市信息技術(shù)有限公司
代理機(jī)構(gòu) 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 代理人 黃志華
地址 201209 上海市浦東新區(qū)金海路3288號(hào)4幢二樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種抓取網(wǎng)頁(yè)內(nèi)容的方法及裝置，用于解決目前在對(duì)不同類型網(wǎng)頁(yè)內(nèi)容進(jìn)行抓取的過(guò)程中，存在網(wǎng)頁(yè)內(nèi)容抓取復(fù)雜度高，以及網(wǎng)頁(yè)內(nèi)容抓取效率低的問(wèn)題。本發(fā)明實(shí)施例中，當(dāng)檢測(cè)到待抓取網(wǎng)頁(yè)時(shí)，即從預(yù)設(shè)的抓取規(guī)則庫(kù)中查找上述待抓取網(wǎng)頁(yè)的URL，當(dāng)該抓取規(guī)則庫(kù)中不存在URL對(duì)應(yīng)的抓取規(guī)則時(shí)，對(duì)待抓取網(wǎng)頁(yè)中的內(nèi)容進(jìn)行分析，并對(duì)滿足條件的待抓取網(wǎng)頁(yè)生成抓取規(guī)則。采用本發(fā)明技術(shù)方案，對(duì)待抓取網(wǎng)頁(yè)中的內(nèi)容進(jìn)行分析，根據(jù)分析結(jié)果自動(dòng)生成待抓取網(wǎng)頁(yè)對(duì)應(yīng)的抓取規(guī)則，無(wú)須人工設(shè)置抓取規(guī)則，有效降低了網(wǎng)頁(yè)內(nèi)容抓取的復(fù)雜度，提高了網(wǎng)頁(yè)內(nèi)容抓取的效率。