一種海量數據平臺與大數據平臺融合方法

基本信息

申請?zhí)?/td> CN201810496314.3 申請日 -
公開（公告）號 CN108959369B 公開（公告）日 2021-11-30
申請公布號 CN108959369B 申請公布日 2021-11-30
分類號 G06F16/2455（2019.01）I;G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06Q50/06（2012.01）I 分類 計算；推算；計數;
發(fā)明人 韓嘉佳;猶鋒;周升;張曉曉;倪陽旦;張珂珩;孫歆;張高坤;李景;李賢慧;戴樺;李沁園;汪自翔;呂磅;李霽遠;王劉旺 申請（專利權）人 江蘇瑞中數據股份有限公司
代理機構 南京蘇高專利商標事務所（普通合伙） 代理人 張弛
地址 310000浙江省杭州市華電弄1號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種海量數據平臺與大數據平臺融合方法，該平臺包括數據采集層、數據緩存層和數據存儲層；該融合方法包括：數據采集層采用分布式消息隊列Kafka機制，實現測點數據傳輸；數據緩存層采用REDIS鍵值型內存數據庫，實現用戶即席查詢需求；數據存儲層采用HBASE列式存儲，結合測點數據時序特征，對測點數據特征進行列式存儲，本發(fā)明提出的海量數據平臺與大數據平臺融合方法，實現了海量平臺與大數據平臺最佳融合，通過統(tǒng)一技術路線、統(tǒng)一技術支持、明確職責分工，實現大數據應用服務平臺化，全面支撐各專業(yè)大數據應用需求，解決公司各專業(yè)的大數據應用需求，保障數據和業(yè)務的連續(xù)性。