基于唇語識別的匯編語言編輯器及識別方法

基本信息

申請?zhí)?/td> CN202110071673.6 申請日 -
公開（公告）號 CN112817575A 公開（公告）日 2021-05-18
申請公布號 CN112817575A 申請公布日 2021-05-18
分類號 G06F8/30;G06K9/00;G06N3/04 分類 計算；推算；計數(shù);
發(fā)明人 蘭星;胡慶浩;冷聰 申請（專利權(quán)）人 中科方寸知微（南京）科技有限公司
代理機(jī)構(gòu) 南京泰普專利代理事務(wù)所（普通合伙） 代理人 竇賢宇
地址 211000 江蘇省南京市江寧區(qū)麒麟科技創(chuàng)新園創(chuàng)研路266號人工智能產(chǎn)業(yè)園3號樓203B室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于唇語識別的匯編語言編輯器及識別方法，包括明確變量名，作為關(guān)鍵字存儲在指令集中；劃分每條指令的動作，寄存器，進(jìn)行每一條指令數(shù)據(jù)的采集。采集的數(shù)據(jù)都是一條語句，在實時測試的時候，需要整段話的輸入，所以對數(shù)據(jù)集需要做一個擴(kuò)充；使用設(shè)計好的網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行端對端的訓(xùn)練，得出模型。對一段視頻幀進(jìn)行唇動判斷，將每段話中語句劃分出來，過濾指令語句前后的空白幀，提取出每條指令幀序列；將每條指令幀序列作為網(wǎng)絡(luò)的輸入，預(yù)測出對應(yīng)的指令，輸出到編輯器上，并且模型的預(yù)測和指令幀序列的提取可以異步實現(xiàn)，達(dá)到實時的效果。相較于語音識別需要在噪音干擾較小環(huán)境下才能作用的缺點，在復(fù)雜背景下也可以正常工作。