一種用于探測(cè)HIVE數(shù)據(jù)庫(kù)數(shù)據(jù)血緣的方法及系統(tǒng)
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110211183.1 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN112925777A | 公開(kāi)（公告）日 | 2021-06-08 |
| 申請(qǐng)公布號(hào) | CN112925777A | 申請(qǐng)公布日 | 2021-06-08 |
| 分類(lèi)號(hào) | G06F16/215;G06F16/248;G06F16/28 | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 蘇瑀;陳筱進(jìn);劉登賀;張世杰 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 吉林億聯(lián)銀行股份有限公司 |
| 代理機(jī)構(gòu) | 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 | 代理人 | 錢(qián)娜 |
| 地址 | 130000 吉林省長(zhǎng)春市南關(guān)區(qū)人民大街10606號(hào) | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明公開(kāi)了一種用于探測(cè)HIVE數(shù)據(jù)庫(kù)數(shù)據(jù)血緣的方法及系統(tǒng)，方法包括：配置LineageLogger Hook功能；基于LineageLogger Hook功能對(duì)HiveSql進(jìn)行解析，生成hive.log日志；對(duì)hive.log日志進(jìn)行數(shù)據(jù)清洗形成JOIN格式，并將清洗后的數(shù)據(jù)數(shù)據(jù)導(dǎo)入至開(kāi)源圖數(shù)據(jù)庫(kù)neo4j；利用neo4j接口查詢字段之間的依賴關(guān)系；調(diào)用圖數(shù)據(jù)庫(kù)neo4j API接口，解析JSON串，將數(shù)據(jù)血緣進(jìn)行可視化顯示。本發(fā)明能夠有效的完成各個(gè)數(shù)據(jù)表、字段之間的數(shù)據(jù)血緣關(guān)系的分析和梳理。 |
