一種多節(jié)點并行處理海量任意目錄結構存檔文件的方法

基本信息

申請?zhí)?/td> CN202111031407.7 申請日 -
公開（公告）號 CN113791919A 公開（公告）日 2021-12-14
申請公布號 CN113791919A 申請公布日 2021-12-14
分類號 G06F9/54（2006.01）I;G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F3/06（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 扈紫豪;黃祥志;王寶玉;臧文乾;王更科;余濤;趙亞萌;王棟 申請（專利權）人 廊坊中科空間信息技術有限公司
代理機構 北京志霖恒遠知識產權代理事務所（普通合伙） 代理人 杜武
地址 065000河北省廊坊市經濟技術開發(fā)區(qū)云鵬道20號新亞研發(fā)8層
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種多節(jié)點并行處理海量任意目錄結構存檔文件的方法，其特征在于，包括如下步驟：用戶輸入文件路徑，并下發(fā)處理文件的任務至任務控制節(jié)點；任務控制節(jié)點派發(fā)任務至任務下發(fā)消息隊列，同時指定工作節(jié)點執(zhí)行工作任務；執(zhí)行工作任務的工作節(jié)點成為執(zhí)行節(jié)點，執(zhí)行節(jié)點執(zhí)行任務，完成任務后將完成信息反饋至任務反饋消息隊列；任務控制節(jié)點從任務反饋隊列拉取任務完成情況，判斷符合停止情況后，停止工作線程。本申請在任務執(zhí)行過程中，根據(jù)任務完成情況動態(tài)擴容縮容；將任務派發(fā)給任務下發(fā)消息隊列，每個節(jié)點的任務負載更加均衡，處理效率更好。