數(shù)據(jù)構(gòu)建方法
基本信息
| 申請(qǐng)?zhí)?/td> | CN202110759774.2 | 申請(qǐng)日 | - |
| 公開(kāi)（公告）號(hào) | CN113468177A | 公開(kāi)（公告）日 | 2021-10-01 |
| 申請(qǐng)公布號(hào) | CN113468177A | 申請(qǐng)公布日 | 2021-10-01 |
| 分類(lèi)號(hào) | G06F16/22（2019.01）I;G06F16/21（2019.01）I | 分類(lèi) | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 張陽(yáng);楊秦敏;寧海元 | 申請(qǐng)（專(zhuān)利權(quán)）人 | 杭州玳數(shù)科技有限公司 |
| 代理機(jī)構(gòu) | 常州佰業(yè)騰飛專(zhuān)利代理事務(wù)所（普通合伙） | 代理人 | 陳紅橋 |
| 地址 | 310030浙江省杭州市西湖區(qū)紫霞街176號(hào)杭州互聯(lián)網(wǎng)創(chuàng)新創(chuàng)業(yè)園2號(hào)樓8F | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，為解決目前數(shù)據(jù)庫(kù)工具在大批量構(gòu)建數(shù)據(jù)時(shí)效率較低、資源消耗較大的技術(shù)問(wèn)題，提出了一種數(shù)據(jù)構(gòu)建方法，該方法包括以下步驟：通過(guò)yaml配置文件來(lái)配置數(shù)據(jù)庫(kù)和DAGScheduleX接口請(qǐng)求信息；讀取yaml配置文件中的數(shù)據(jù)庫(kù)配置信息；通過(guò)讀取的數(shù)據(jù)庫(kù)配置信息創(chuàng)建對(duì)應(yīng)的數(shù)據(jù)庫(kù)寫(xiě)入表信息；根據(jù)所述數(shù)據(jù)庫(kù)配置信息和所述數(shù)據(jù)庫(kù)寫(xiě)入表信息構(gòu)建數(shù)據(jù)同步任務(wù)的Json；讀取DAGScheduleX接口請(qǐng)求信息，使用HTTP請(qǐng)求DAGScheduleX創(chuàng)建數(shù)據(jù)同步任務(wù)。本發(fā)明能夠快速高效地構(gòu)建大批量的數(shù)據(jù)，且資源消耗較低。 |
