基于統(tǒng)計(jì)的中文分詞方法、系統(tǒng)、裝置和存儲介質(zhì)

基本信息

申請?zhí)?/td> CN201911392455.1 申請日 -
公開（公告）號 CN111160024A 公開（公告）日 2020-05-15
申請公布號 CN111160024A 申請公布日 2020-05-15
分類號 G06F40/284 分類 計(jì)算；推算；計(jì)數(shù);
發(fā)明人 寇永嫻;陳惠芳;藍(lán)飄;胡志樂;李娟 申請（專利權(quán)）人 廣州廣電運(yùn)通信息科技有限公司
代理機(jī)構(gòu) 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 代理人 廣州廣電運(yùn)通金融電子股份有限公司;廣州廣電運(yùn)通信息科技有限公司
地址 510663 廣東省廣州市廣州高新技術(shù)產(chǎn)業(yè)開發(fā)區(qū)科學(xué)城科林路9號研究院辦公樓
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于統(tǒng)計(jì)的中文分詞方法、系統(tǒng)、裝置和存儲介質(zhì)，其中方法包括：獲取目標(biāo)文本；根據(jù)預(yù)置語料庫對目標(biāo)文本進(jìn)行分詞處理，識別出第一概率和第二概率；結(jié)合第一概率與第二概率對目標(biāo)文本所含的詞進(jìn)行逆向匹配，輸出若干個(gè)分詞路徑，各所述路徑含若干個(gè)分詞節(jié)點(diǎn)；結(jié)合維特比算法和預(yù)置比例因子對各所述分詞路徑上各分詞節(jié)點(diǎn)的詞進(jìn)行逆向遞歸處理，獲取最優(yōu)分詞序列；根據(jù)最優(yōu)分詞序列生成分詞結(jié)果，從而提高中文分詞處理的分詞準(zhǔn)確率，并通過預(yù)置比例因此降低計(jì)算量，降低成本。