網(wǎng)絡爬蟲系統(tǒng)

基本信息

申請?zhí)?/td> CN201210495699.4 申請日 -
公開（公告）號 CN103853717B 公開（公告）日 2018-10-12
申請公布號 CN103853717B 申請公布日 2018-10-12
分類號 G06F17/30 分類 計算；推算；計數(shù);
發(fā)明人 劉濤 申請（專利權）人 廈門新見福電子商務有限公司
代理機構 上海弼興律師事務所 代理人 北京京東尚科信息技術有限公司;廈門新見福電子商務有限公司
地址 100195 北京市海淀區(qū)杏石口路65號西杉創(chuàng)意園四區(qū)11號樓東段1-4層西段1-4層
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種網(wǎng)絡爬蟲，包括一內核以及一Ajax抓取配置，該內核以及該Ajax抓取配置均集成有htmlunit，該Ajax抓取配置用于指定一網(wǎng)頁的地址以及該網(wǎng)頁中的待抓取的數(shù)據(jù)，該內核用于驅動搜索引擎，并基于該Ajax抓取配置提取該待抓取的數(shù)據(jù)。本發(fā)明能夠支持Ajax的執(zhí)行方式抓取網(wǎng)頁頁面的數(shù)據(jù)，并且支持異步請求的技術，可以使用JavaScript向服務器提出請求并處理響應，而且不會阻塞用戶。