一種可簡(jiǎn)化編程的大數(shù)據(jù)自動(dòng)化解析方法及系統(tǒng)

基本信息

申請(qǐng)?zhí)?/td> CN201610167763.4 申請(qǐng)日 -
公開（公告）號(hào) CN105843899B 公開（公告）日 2017-07-18
申請(qǐng)公布號(hào) CN105843899B 申請(qǐng)公布日 2017-07-18
分類號(hào) G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 尤海浪;唐勇;陳杰 申請(qǐng)（專利權(quán)）人 炫彩互動(dòng)網(wǎng)絡(luò)科技有限公司
代理機(jī)構(gòu) 北京德崇智捷知識(shí)產(chǎn)權(quán)代理有限公司 代理人 炫彩互動(dòng)網(wǎng)絡(luò)科技有限公司
地址 210019 江蘇省南京市建鄴區(qū)嘉陵江東街18號(hào)4幢17層
法律狀態(tài) -

摘要

摘要 本發(fā)明提出一種可簡(jiǎn)化編程的大數(shù)據(jù)自動(dòng)化解析方法及系統(tǒng)。針對(duì)現(xiàn)有的大數(shù)據(jù)編程需要繁瑣解析，導(dǎo)致存在數(shù)據(jù)解析易出錯(cuò)導(dǎo)致臟數(shù)據(jù)和解析效率低下等問題，提出了通過自動(dòng)化解析格式化和非格式化數(shù)據(jù)的方式，將Hive表中每條數(shù)據(jù)轉(zhuǎn)換成Java匿名類對(duì)象，并在系統(tǒng)中記錄Hive表與匿名類字段的對(duì)應(yīng)關(guān)系。匿名類根據(jù)@IField的成員變量的變量名稱和Hive表字段名稱進(jìn)行匹配，對(duì)于匹配上的成員變量直接賦予對(duì)應(yīng)的表字段值。在進(jìn)行大數(shù)據(jù)處理保持?jǐn)?shù)據(jù)靈活性的同時(shí)，提高了數(shù)據(jù)解析的速度和準(zhǔn)確性。