一種基于大型通用預(yù)訓(xùn)練模型控制對話生成的方法

基本信息

申請?zhí)?/td> CN202110501116.3 申請日 -
公開（公告）號 CN113420129A 公開（公告）日 2021-09-21
申請公布號 CN113420129A 申請公布日 2021-09-21
分類號 G06F16/332（2019.01）I;G06F16/35（2019.01）I 分類 計算；推算；計數(shù);
發(fā)明人 黃洪;王贊;賈勇哲;馬國寧 申請（專利權(quán)）人 天津泰凡科技有限公司
代理機(jī)構(gòu) 天津市北洋有限責(zé)任專利代理事務(wù)所 代理人 李素蘭
地址 300072天津市南開區(qū)衛(wèi)津路92號
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于大型通用預(yù)訓(xùn)練模型控制評論生成的方法，第一步、通過一個前向過程獲取性模型p（a|x）、p（x）；第二步、通過反向傳播獲取相對于H的梯度并更新H；第三步、利用更新之后的H來預(yù)測此時刻的詞典分布；計算Ht的更新值通過若干次重復(fù)計算梯度并衰減求和得到。本發(fā)明基于預(yù)訓(xùn)練的大型通用模型和利用有監(jiān)督的鑒別器，實現(xiàn)可控主題和情感極性的文本評論生成；相對于傳統(tǒng)的beam search解碼評論文本生成，本發(fā)明使用的基于大型預(yù)訓(xùn)練語言模型的生成句子相對更“人性化”。