一種ARM側(cè)離線語音合成的方法、裝置及存儲介質(zhì)

基本信息

申請?zhí)?/td> CN202110599311.4 申請日 -
公開（公告）號 CN113362803A 公開（公告）日 2021-09-07
申請公布號 CN113362803A 申請公布日 2021-09-07
分類號 G10L13/08（2013.01）I;G10L25/18（2013.01）I;G10L25/30（2013.01）I 分類 樂器；聲學(xué);
發(fā)明人 張毅;胡奎;姜黎 申請（專利權(quán)）人 杭州芯聲智能科技有限公司
代理機構(gòu) 成都知都云專利代理事務(wù)所（普通合伙） 代理人 趙正寅
地址 310000浙江省杭州市杭州經(jīng)濟技術(shù)開發(fā)區(qū)白楊街道科技園路20號14幢3層02室-15
法律狀態(tài) -

摘要

摘要 本發(fā)明提供的一種ARM側(cè)離線語音合成的方法、裝置及存儲介質(zhì)，涉及語音合成技術(shù)領(lǐng)域。本發(fā)明通過對ARM側(cè)設(shè)備部署音素序列生成器、音素—時間標(biāo)簽序列生成器、聲學(xué)特征生成器和聲碼器來進行離線語音合成，通過對ARM側(cè)設(shè)備部署的各生成器進行進行Python toc/c++porting重編譯和對Tensorflow平臺的32位float型模型浮點參數(shù)進行量化壓縮，使ARM側(cè)設(shè)備能夠快速進行離線語音合成且達到節(jié)省ARM側(cè)設(shè)備所需部署空間、降低ARM側(cè)設(shè)備運算要求的目的；通過通過將MelGAN模型作為神經(jīng)網(wǎng)絡(luò)聲碼模型，達到了提升訓(xùn)練速率，在沒有額外的蒸餾和感知損失的引入下仍能產(chǎn)生高質(zhì)量的語音合成模型；將Fastspeech 2模型神經(jīng)網(wǎng)絡(luò)聲學(xué)特征生成模型能達到升模型訓(xùn)練速率和增加了數(shù)據(jù)的豐富度避免過多的信息損失的目的。