一種離線數(shù)據(jù)包存儲(chǔ)分析方法及裝置
基本信息
| 申請(qǐng)?zhí)?/td> | 2020112047466 | 申請(qǐng)日 | - |
| 公開（公告）號(hào) | CN112256208A | 公開（公告）日 | 2021-01-22 |
| 申請(qǐng)公布號(hào) | CN112256208A | 申請(qǐng)公布日 | 2021-01-22 |
| 分類號(hào) | G06F3/06(2006.01)I;G06F9/54(2006.01)I | 分類 | 計(jì)算；推算；計(jì)數(shù); |
| 發(fā)明人 | 趙熙 | 申請(qǐng)（專利權(quán)）人 | 南京云信達(dá)科技有限公司 |
| 代理機(jī)構(gòu) | - | 代理人 | - |
| 地址 | 210000江蘇省南京市中國(江蘇)自由貿(mào)易試驗(yàn)區(qū)南京片區(qū)團(tuán)結(jié)路99號(hào)孵鷹大廈A座309室、310室 | ||
| 法律狀態(tài) | - | ||
摘要
| 摘要 | 本發(fā)明提出了一種離線數(shù)據(jù)包存儲(chǔ)分析方法及裝置，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。該方法包括：獲取離線數(shù)據(jù)包，并將其發(fā)送至多個(gè)處理CPU；處理線程對(duì)離線數(shù)據(jù)包進(jìn)行拆分，以得到數(shù)據(jù)包塊，并將數(shù)據(jù)包塊寫入對(duì)應(yīng)的內(nèi)存緩沖區(qū)；利用讀線程和寫線程將數(shù)據(jù)包塊寫入共享內(nèi)存；再將其通過索引方式從共享內(nèi)存中直接寫入磁盤。從網(wǎng)絡(luò)接口接收到的離線數(shù)據(jù)包先被分散至不同的處理CPU進(jìn)行處理，實(shí)現(xiàn)負(fù)載的均衡，提高處理效率。然后離線數(shù)據(jù)包會(huì)被進(jìn)行拆分處理，以使離線數(shù)據(jù)包被多個(gè)處理線程并行處理，從而可以并行化分析離線數(shù)據(jù)包，進(jìn)一步提高處理效率。對(duì)離線數(shù)據(jù)包建立各種索引，離線數(shù)據(jù)包會(huì)存放在磁盤上不同的文件中，進(jìn)行高效的并行化處理。?? |
