基于hdfs的準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)方法

基本信息

申請?zhí)?/td> CN201610336812.2 申請日 -
公開（公告）號 CN106021491B 公開（公告）日 2019-10-08
申請公布號 CN106021491B 申請公布日 2019-10-08
分類號 G06F16/182;G06F16/172 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 吳廣學(xué) 申請（專利權(quán)）人 天津海量信息技術(shù)股份有限公司
代理機(jī)構(gòu) 天津市尚文知識產(chǎn)權(quán)代理有限公司 代理人 天津海量信息技術(shù)股份有限公司
地址 300020 天津市和平區(qū)南馬路11號麥購國際大廈23層
法律狀態(tài) -

摘要

摘要 一種基于hdfs的準(zhǔn)實(shí)時(shí)數(shù)據(jù)存儲(chǔ)方法，由客戶端、本地文件系統(tǒng)、hdfs和hbase實(shí)現(xiàn)，在收到消息后，先將消息序列化并壓縮后作為小文件順序存儲(chǔ)到本地文件系統(tǒng)，在小文件的絕對位置確定后，重新計(jì)算小文件的相對位置以追加為一個(gè)大文件來保證文件的完整性，且大文件依然可分割，然后異步追加小文件到hdfs中，從而在保證數(shù)據(jù)可靠性和吞吐量的同時(shí)，能夠?qū)?shù)據(jù)進(jìn)行準(zhǔn)實(shí)時(shí)的隨機(jī)讀取，提高了數(shù)據(jù)的查詢速度。