基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110839279.2 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN113485812A | 公開（公告）日 | 2021-10-08 |
| 申請(qǐng)公布號(hào) | CN113485812A | 申請(qǐng)公布日 | 2021-10-08 |
| 分類號(hào) | G06F9/48（2006.01）I;G06F16/23（2019.01）I;G06Q40/02（2012.01）I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張彪;羅鵬;張浩 | 申請(qǐng)（專利權(quán)）人 | 重慶富民銀行股份有限公司 |
| 代理機(jī)構(gòu) | 重慶強(qiáng)大凱創(chuàng)專利代理事務(wù)所（普通合伙） | 代理人 | 隋金艷 |
| 地址 | 401121重慶市渝北區(qū)財(cái)富東路2號(hào)涉外商務(wù)區(qū)一期B1棟 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開一種基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法及系統(tǒng)，屬于計(jì)算機(jī)技術(shù)領(lǐng)域，針對(duì)目前單線程大批量數(shù)據(jù)處理時(shí)，處理效率較低的問題，提出以下方案：基于大數(shù)據(jù)量任務(wù)的分區(qū)并行處理方法，包括：將數(shù)據(jù)庫(kù)表中的大數(shù)據(jù)量任務(wù)拆分為多個(gè)子任務(wù)；其中，各子任務(wù)可獨(dú)立、并行執(zhí)行；根據(jù)預(yù)設(shè)抓取策略發(fā)出任務(wù)抓取請(qǐng)求對(duì)多個(gè)子任務(wù)進(jìn)行抓取，并對(duì)抓取的子任務(wù)進(jìn)行鎖定；控制任務(wù)執(zhí)行器執(zhí)行各個(gè)被抓取的子任務(wù)；根據(jù)任務(wù)執(zhí)行器的運(yùn)行，對(duì)任務(wù)管理器的任務(wù)表數(shù)據(jù)進(jìn)行更新。本發(fā)明技術(shù)方案提升大批量數(shù)據(jù)處理的效率和可靠性。 |
