一種數(shù)據(jù)同步的方法和裝置

基本信息

申請(qǐng)?zhí)?/td> CN201710750922.8 申請(qǐng)日 -
公開（公告）號(hào) CN107609061A 公開（公告）日 2018-01-19
申請(qǐng)公布號(hào) CN107609061A 申請(qǐng)公布日 2018-01-19
分類號(hào) G06F17/30 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 李貴榮;黃承松;夏里峰;宋書俊 申請(qǐng)（專利權(quán)）人 武漢奇米網(wǎng)絡(luò)科技有限公司
代理機(jī)構(gòu) 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 代理人 武漢奇米網(wǎng)絡(luò)科技有限公司
地址 430000 湖北省武漢市東湖新技術(shù)開發(fā)區(qū)軟件園東路1號(hào)軟件產(chǎn)業(yè)4.1期B4棟15層01室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供一種數(shù)據(jù)同步的方法和裝置，通過MapReduce將每一數(shù)據(jù)傳輸任務(wù)的數(shù)據(jù)逐一傳入到Hadoop集群中不同節(jié)點(diǎn)的DataX，并通過MapReduce啟動(dòng)Hadoop集群中不同節(jié)點(diǎn)的DataX，再通過Hadoop集群中不同節(jié)點(diǎn)的DataX實(shí)現(xiàn)從源端到每一目的端的數(shù)據(jù)傳輸，以完成從源端到每一目的端的數(shù)據(jù)同步，從而將數(shù)據(jù)同步任務(wù)列表中的多個(gè)數(shù)據(jù)傳輸任務(wù)分別分配給Hadoop集群中不同節(jié)點(diǎn)的DataX執(zhí)行，避免了由單機(jī)同時(shí)執(zhí)行多個(gè)數(shù)據(jù)傳輸任務(wù)時(shí)帶來的單機(jī)內(nèi)存不足的問題和單機(jī)網(wǎng)絡(luò)傳輸速度受到限制的問題，提高了數(shù)據(jù)同步的效率。