離線任務(wù)的處理方法和裝置

基本信息

申請?zhí)?/td> CN202111609393.2 申請日 -
公開（公告）號 CN114327820A 公開（公告）日 2022-04-12
申請公布號 CN114327820A 申請公布日 2022-04-12
分類號 G06F9/48（2006.01）I;G06F16/182（2019.01）I;G06F9/445（2018.01）I 分類 計算；推算；計數(shù);
發(fā)明人 宋東瑞;白杰;白會杰;姚鑫;蘇宇 申請（專利權(quán)）人 蘇州臻璇數(shù)據(jù)信息技術(shù)有限公司
代理機(jī)構(gòu) 北京知匯林知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 楊華
地址 215000江蘇省蘇州市相城區(qū)高鐵新城青龍港路286號長三角國際研發(fā)社區(qū)啟動區(qū)11#101室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種離線任務(wù)的處理方法和裝置，其中，該方法包括：獲取預(yù)設(shè)時間周期內(nèi)的歷史渠道數(shù)據(jù)，采用計算引擎Spark對所述歷史渠道數(shù)據(jù)進(jìn)行劃分，然后生成并編排所述歷史渠道數(shù)據(jù)的離線任務(wù)；采用批處理調(diào)度器Azkaban對所述離線任務(wù)進(jìn)行任務(wù)調(diào)度。本申請解決了現(xiàn)有技術(shù)中不能進(jìn)行任務(wù)編排的問題。