一種提高Spark on yarn實(shí)時(shí)任務(wù)可靠性的方法

基本信息

申請(qǐng)?zhí)?/td> CN201811393037.X 申請(qǐng)日 -
公開(kāi)（公告）號(hào) CN109491841A 公開(kāi)（公告）日 2019-03-19
申請(qǐng)公布號(hào) CN109491841A 申請(qǐng)公布日 2019-03-19
分類號(hào) G06F11/14（2006.01）I; G06F11/30（2006.01）I 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 馬偉定 申請(qǐng)（專利權(quán)）人 南京安訊科技有限責(zé)任公司
代理機(jī)構(gòu) 大連至誠(chéng)專利代理事務(wù)所（特殊普通合伙） 代理人 南京安訊科技有限責(zé)任公司
地址 210012 江蘇省南京市雨花臺(tái)區(qū)軟件大道119號(hào)5幢201-206室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開(kāi)了一種提高Spark on yarn實(shí)時(shí)任務(wù)可靠性的方法，該方法主要是通過(guò)定時(shí)輪訓(xùn)Hadoop Yarn任務(wù)池的任務(wù)，再通過(guò)設(shè)定的模板解析目標(biāo)任務(wù)的狀態(tài)，然后根據(jù)解析得到的狀態(tài)判斷是否需要重啟，如果需要重啟則根據(jù)預(yù)置的啟動(dòng)命令模板拉起任務(wù)，必要時(shí)進(jìn)行系統(tǒng)日志的記錄和短信等渠道通知。這樣可以有效提高實(shí)時(shí)任務(wù)的高可用性和系統(tǒng)的健壯性以及任務(wù)相關(guān)的可維護(hù)性，提高大數(shù)據(jù)處于過(guò)程的健壯性，最終避免任務(wù)因?yàn)槭《却蛘咧貜?fù)提交，提高大數(shù)據(jù)系統(tǒng)資源(時(shí)間和空間)的利用率。該方法可以用于任何基于Hadoop Yarn計(jì)算引擎的大數(shù)據(jù)處理應(yīng)用或系統(tǒng)中。