日志數(shù)據(jù)采集系統(tǒng)及方法

基本信息

申請(qǐng)?zhí)?/td> CN201910022404.3 申請(qǐng)日 -
公開（公告）號(hào) CN109525448A 公開（公告）日 2019-03-26
申請(qǐng)公布號(hào) CN109525448A 申請(qǐng)公布日 2019-03-26
分類號(hào) H04L12/24（2006.01）I; H04L12/26（2006.01）I 分類 電通信技術(shù);
發(fā)明人 任彧雄 申請(qǐng)（專利權(quán)）人 北京智信未來信息技術(shù)有限公司
代理機(jī)構(gòu) 北京市鼎立東審知識(shí)產(chǎn)權(quán)代理有限公司 代理人 陳佳妹
地址 100086 北京市海淀區(qū)知春路23號(hào)11層1108室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種日志數(shù)據(jù)采集系統(tǒng)，包括flume采集層模塊，用于采集指定服務(wù)的日志數(shù)據(jù)，針對(duì)每一條采集數(shù)據(jù)流生成對(duì)應(yīng)的配置文件，將所述配置文件寫入flume通信頭信息進(jìn)行傳輸；flume匯聚層模塊，接收所述flume采集層模塊傳輸?shù)娜罩緮?shù)據(jù)，根據(jù)所述flume通信頭信息確定對(duì)應(yīng)的日志數(shù)據(jù)的傳輸方式和傳輸路徑；Kafka消息隊(duì)列層模塊，用于根據(jù)所述傳輸方式緩存所述flume匯聚層模塊傳輸?shù)娜罩緮?shù)據(jù)；數(shù)據(jù)消費(fèi)者層模塊，用于針對(duì)每一個(gè)配置文件對(duì)應(yīng)的日志數(shù)據(jù)啟動(dòng)一個(gè)數(shù)據(jù)消費(fèi)者，并根據(jù)所述傳輸路徑存儲(chǔ)至目標(biāo)介質(zhì)。同時(shí)，本發(fā)明還公開一種日志數(shù)據(jù)采集方法。本方案實(shí)現(xiàn)日志數(shù)據(jù)采集與流式傳輸?shù)臉?biāo)準(zhǔn)化，極大地降低操作和管理成本。