一種混合分詞方法

基本信息

申請?zhí)?/td> CN201811479085.0 申請日 -
公開（公告）號 CN109657235A 公開（公告）日 2019-04-19
申請公布號 CN109657235A 申請公布日 2019-04-19
分類號 G06F17/27（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 張文斌; 劉洋 申請（專利權(quán)）人 云孚科技（北京）有限公司
代理機構(gòu) 北京世譽鑫誠專利代理事務(wù)所（普通合伙） 代理人 孫國棟
地址 100085 北京市海淀區(qū)上地信息路2號（北京實創(chuàng)高科技發(fā)展總公司2-2號D棟1-8層）一層D100-0705室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開的混合分詞方法，涉及語義分析技術(shù)領(lǐng)域，利用經(jīng)訓(xùn)練數(shù)據(jù)訓(xùn)練過的語言模型對語句進行標注，得到語句各個詞的標簽序列，初始化一個詞組序列，依次對標簽序列進行解碼，根據(jù)解碼結(jié)果，對語句進行分詞，得到分詞結(jié)果，實現(xiàn)了自動對語句內(nèi)的所有語言進行分詞，節(jié)省了人工成本、分詞效率較高，解決了現(xiàn)有技術(shù)存在的不能對對語句內(nèi)的所有語言進行分詞，需要通過人工去分詞而導(dǎo)致的人工成本高及分詞效率低的缺陷。