一種基于云原生架構的大數(shù)據(jù)流處理方法和裝置

基本信息

申請?zhí)?/td> CN202010734377.5 申請日 -
公開（公告）號 CN111880899A 公開（公告）日 2020-11-03
申請公布號 CN111880899A 申請公布日 2020-11-03
分類號 G06F9/455(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 商子豪;曲茂強;薛愛梅;張春濤;葛亮 申請（專利權）人 山東迪特智聯(lián)信息科技有限責任公司
代理機構 濟南竹森知識產(chǎn)權代理事務所（普通合伙） 代理人 呂利敏
地址 250000山東省濟南市歷下區(qū)漿水泉路16號卓越時代廣場一號樓1109
法律狀態(tài) -

摘要

摘要 本發(fā)明的實施例公開了一種基于云原生架構的大數(shù)據(jù)流處理方法、裝置、電子設備及存儲介質(zhì)，涉及大數(shù)據(jù)流處理技術領域，用于避免大數(shù)據(jù)流處理任務執(zhí)行的資源占用及插件沖突，提高平臺運行安全性和穩(wěn)定性。所述方法包括：接收服務器發(fā)送的大數(shù)據(jù)流處理任務，該任務中包含所需的插件鏡像信息、Git倉庫地址信息、輸入和輸出信息；通知Docker Engine從鏡像倉庫拉取并運行相應的插件鏡像，使插件開始運行；插件運行后訪問Git倉庫，獲取任務上下文數(shù)據(jù)；插件從數(shù)據(jù)源獲取數(shù)據(jù)并進行數(shù)據(jù)處理，處理完畢后將任務處理結果和日志信息記錄到Git倉庫中并更新任務上下文數(shù)據(jù)；通知服務器任務已執(zhí)行完成，并通知Docker Engine銷毀運行的插件實例，釋放占用的資源。??