面向帶有描述信息的海量非結(jié)構(gòu)化數(shù)據(jù)分布式處理架構(gòu)

基本信息

申請(qǐng)?zhí)?/td> CN201310214367.9 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN104216899A 公開(kāi)（公告）日 2014-12-17
申請(qǐng)公布號(hào) CN104216899A 申請(qǐng)公布日 2014-12-17
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 林立偉;崔星燦;董振 申請(qǐng)（專利權(quán)）人 濟(jì)南觀瀾數(shù)據(jù)技術(shù)有限公司
代理機(jī)構(gòu) 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 王吉勇
地址 250101 山東省濟(jì)南市高新區(qū)開(kāi)拓路2350號(hào)513室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種面向帶有描述信息的海量非結(jié)構(gòu)化數(shù)據(jù)分布式處理架構(gòu)，包括數(shù)據(jù)采集模塊，收集非結(jié)構(gòu)化數(shù)據(jù)并發(fā)送至數(shù)據(jù)緩沖隊(duì)列中；數(shù)據(jù)緩沖及預(yù)處理模塊，暫存數(shù)據(jù)采集模塊發(fā)送的數(shù)據(jù)，并可選擇的對(duì)數(shù)據(jù)進(jìn)行修復(fù)或二次處理工作；數(shù)據(jù)分離及歸檔存儲(chǔ)模塊，從前一個(gè)模塊分布式隊(duì)列中獲取數(shù)據(jù)，可選擇對(duì)非結(jié)構(gòu)化數(shù)據(jù)和描述信息分離，分離后的數(shù)據(jù)轉(zhuǎn)發(fā)或存儲(chǔ)至后繼模塊，流處理模塊，對(duì)最近接入的數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)、比對(duì)、計(jì)算和處理；分布式數(shù)據(jù)存儲(chǔ)模塊，對(duì)非結(jié)構(gòu)化數(shù)據(jù)和描述信息存儲(chǔ)；分布式業(yè)務(wù)處理模塊，包含業(yè)務(wù)處理器、數(shù)據(jù)訪問(wèn)單元和數(shù)據(jù)緩存組件；分布式消息中間件，接收前端請(qǐng)求供業(yè)務(wù)處理器選擇執(zhí)行，或?qū)⒑笈_(tái)處理結(jié)果返回給前端。