一種數據處理方法以及數據處理裝置

基本信息

申請?zhí)?/td> CN201810968716.9 申請日 -
公開(公告)號 CN109165097B 公開(公告)日 2021-06-08
申請公布號 CN109165097B 申請公布日 2021-06-08
分類號 G06F9/50 分類 計算;推算;計數;
發(fā)明人 王濤 申請(專利權)人 北京九狐時代智能科技有限公司
代理機構 北京超凡志成知識產權代理事務所(普通合伙) 代理人 蘇勝
地址 100000 北京市朝陽區(qū)阜通東大街1號院5號樓2單元324002
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┝艘环N數據處理方法以及數據處理裝置,包括:將待處理數據分組,生成多個數據組;針對每個數據組,將該數據組中的所有待處理數據讀入到內存中,并基于該數據組中的所有數據執(zhí)行數據組內的雙數據任務,待組內雙數據任務完成后釋放該組數據所占據內存;以及,針對每兩個數據組,將該兩個數據組的數據讀入到內存中,并基于該兩個數據組中的數據執(zhí)行組間的雙數據任務,待組間所有雙數據任務完成后釋放數據所占據內存。本申請算法通過增加I/O次數,減少單次讀入內存的數據量,避免由于內存不足或者任務量過大造成系統或軟件崩潰,同時在保證效率基本不變的前提下,保證了任務完成的完整性。