一種基于nginx日志的數(shù)據(jù)分析方法

基本信息

申請(qǐng)?zhí)?/td> CN201611129374.9 申請(qǐng)日 -
公開（公告）號(hào) CN106777046A 公開（公告）日 2017-05-31
申請(qǐng)公布號(hào) CN106777046A 申請(qǐng)公布日 2017-05-31
分類號(hào) G06F17/30(2006.01)I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 楊波 申請(qǐng)（專利權(quán)）人 武漢卓爾云市集團(tuán)有限公司
代理機(jī)構(gòu) 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 代理人 武漢卓爾云市集團(tuán)有限公司
地址 430000 湖北省武漢市黃陂區(qū)盤龍城漢口北大道88號(hào)漢口北電子商務(wù)大廈
法律狀態(tài) -

摘要

摘要 本發(fā)明涉及一種基于nginx日志的數(shù)據(jù)分析方法，適用于nginx日志，數(shù)據(jù)分析方法包括：S1：通過flume模塊采集nginx服務(wù)器中的日志文件，并將日志文件轉(zhuǎn)移并保存到HDFS系統(tǒng)中；S2：通過Hive數(shù)據(jù)庫(kù)工具對(duì)HDFS系統(tǒng)中的數(shù)據(jù)進(jìn)行mapreduce操作，將加工后的數(shù)據(jù)保存在中間表中；S3：將中間表中的數(shù)據(jù)遷移到MySQL數(shù)據(jù)庫(kù)的結(jié)果表中。本發(fā)明的有益效果是：通過本技術(shù)方案可以實(shí)現(xiàn)通用化和更新服務(wù)不間斷，對(duì)數(shù)據(jù)進(jìn)行復(fù)雜維度分析。