互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN201710373303.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN107357804A | 公開(kāi)（公告）日 | 2017-11-17 |
| 申請(qǐng)公布號(hào) | CN107357804A | 申請(qǐng)公布日 | 2017-11-17 |
| 分類(lèi)號(hào) | G06F17/30(2006.01)I;G06Q40/02(2012.01)I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 馮普超 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 上海五行嘉信息技術(shù)有限公司 |
| 代理機(jī)構(gòu) | 北京德恒律治知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 章社杲;盧軍峰 |
| 地址 | 200941 上海市寶山區(qū)德都路月浦六村88號(hào)B380室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種互聯(lián)網(wǎng)金融海量日志的分析系統(tǒng)及分析方法，該分析系統(tǒng)包括順序連接的采集模塊、傳輸模塊、以及處理模塊；其中，采集模塊利用flume實(shí)時(shí)收集業(yè)務(wù)日志；傳輸模塊利用kafka技術(shù)對(duì)業(yè)務(wù)日志進(jìn)行傳輸，處理模塊接收業(yè)務(wù)日志并利用storm對(duì)業(yè)務(wù)日志進(jìn)行實(shí)時(shí)計(jì)算和分析以得到監(jiān)控?cái)?shù)據(jù)。通過(guò)flume來(lái)實(shí)時(shí)收集業(yè)務(wù)日志，實(shí)現(xiàn)了對(duì)海量日志的實(shí)時(shí)收集；還通過(guò)kafka傳輸業(yè)務(wù)日志，保證了在出現(xiàn)高并發(fā)時(shí)不會(huì)出現(xiàn)性能瓶頸；并通過(guò)storm的水平拓展能力，能夠處理海量數(shù)據(jù)，且實(shí)時(shí)性高。 |
