批量與流式結(jié)合的數(shù)據(jù)處理方法及裝置

基本信息

申請(qǐng)?zhí)?/td> CN202011529842.8 申請(qǐng)日 -
公開(kāi)(公告)號(hào) CN112597200A 公開(kāi)(公告)日 2021-04-02
申請(qǐng)公布號(hào) CN112597200A 申請(qǐng)公布日 2021-04-02
分類號(hào) G06F16/21(2019.01)I;G06F16/27(2019.01)I;G06F16/2455(2019.01)I 分類 計(jì)算;推算;計(jì)數(shù);
發(fā)明人 陳卓;孫啟明;汪利鵬;李延明;李侃;郭顯寬;胡鵬 申請(qǐng)(專利權(quán))人 南京三眼精靈信息技術(shù)有限公司
代理機(jī)構(gòu) 北京中政聯(lián)科專利代理事務(wù)所(普通合伙) 代理人 鄭久興
地址 211100江蘇省南京市江寧開(kāi)發(fā)區(qū)迎翠路7號(hào)
法律狀態(tài) -

摘要

摘要 本申請(qǐng)實(shí)施例提供一種批量與流式結(jié)合的數(shù)據(jù)處理方法及裝置,方法包括:根據(jù)需要執(zhí)行計(jì)算的數(shù)據(jù)節(jié)點(diǎn)類型和數(shù)據(jù)節(jié)點(diǎn)數(shù)量,確定對(duì)應(yīng)的計(jì)算模型,其中,所述數(shù)據(jù)節(jié)點(diǎn)類型包括批量數(shù)據(jù)節(jié)點(diǎn)和流式數(shù)據(jù)節(jié)點(diǎn),若所述數(shù)據(jù)節(jié)點(diǎn)數(shù)量為單個(gè),則執(zhí)行單源計(jì)算模型,否則執(zhí)行多源計(jì)算模型;根據(jù)所述計(jì)算模型根據(jù)預(yù)設(shè)執(zhí)行模式進(jìn)行數(shù)據(jù)處理;本申請(qǐng)能夠有效組合批量數(shù)據(jù)和流式數(shù)據(jù),提高數(shù)據(jù)處理效率。??