端到端時(shí)代
語音識(shí)別的端到端方法主要是代價(jià)函數(shù)發(fā)生了變化，但神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu)并沒有太大變化。總體來說，端到端技術(shù)解決了輸入序列的長度遠(yuǎn)大于輸出序列長度的問題。端到端技術(shù)主要分成兩類：一類是 CTC 方法，另一類是 Sequence-to-Sequence 方法。傳統(tǒng)語音識(shí)別 DNN-HMM 架構(gòu)里的聲學(xué)模型，每一幀輸入都對(duì)應(yīng)一個(gè)標(biāo)簽類別，標(biāo)簽需要反復(fù)的迭代來確保對(duì)齊更準(zhǔn)確。

采用 CTC 作為損失函數(shù)的聲學(xué)模型序列，不需要預(yù)先對(duì)數(shù)據(jù)對(duì)齊，只需要一個(gè)輸入序列和一個(gè)輸出序列就可以進(jìn)行訓(xùn)練。CTC 關(guān)心的是預(yù)測(cè)輸出的序列是否和真實(shí)的序列相近，而不關(guān)心預(yù)測(cè)輸出序列中每個(gè)結(jié)果在時(shí)間點(diǎn)上是否和輸入的序列正好對(duì)齊。CTC 建模單元是音素或者字，因此它引入了 Blank。對(duì)于一段語音，CTC 最后輸出的是尖峰的序列，尖峰的位置對(duì)應(yīng)建模單元的 Label，其他位置都是 Blank。

Sequence-to-Sequence 方法原來主要應(yīng)用于機(jī)器翻譯領(lǐng)域。2017 年，Google 將其應(yīng)用于語音識(shí)別領(lǐng)域，取得了非常好的效果，將詞錯(cuò)誤率降低至5.6%。如下圖所示，Google 提出新系統(tǒng)的框架由三個(gè)部分組成：Encoder 編碼器組件，它和標(biāo)準(zhǔn)的聲學(xué)模型相似，輸入的是語音信號(hào)的時(shí)頻特征；經(jīng)過一系列神經(jīng)網(wǎng)絡(luò)，映射成高級(jí)特征 henc，然后傳遞給 Attention 組件，其使用 henc 特征學(xué)習(xí)輸入 x 和預(yù)測(cè)子單元之間的對(duì)齊方式，子單元可以是一個(gè)音素或一個(gè)字。最后，attention 模塊的輸出傳遞給 Decoder，生成一系列假設(shè)詞的概率分布，類似于傳統(tǒng)的語言模型。

端到端技術(shù)的突破，不再需要 HMM 來描述音素內(nèi)部狀態(tài)的變化，而是將語音識(shí)別的所有模塊統(tǒng)一成神經(jīng)網(wǎng)絡(luò)模型，使語音識(shí)別朝著更簡(jiǎn)單、更高效、更準(zhǔn)確的方向發(fā)展。

語音識(shí)別的技術(shù)現(xiàn)狀
目前，主流語音識(shí)別框架還是由 3 個(gè)部分組成：聲學(xué)模型、語言模型和解碼器，有些框架也包括前端處理和后處理。隨著各種深度神經(jīng)網(wǎng)絡(luò)以及端到端技術(shù)的興起，聲學(xué)模型是近幾年非常熱門的方向，業(yè)界都紛紛發(fā)布自己新的聲學(xué)模型結(jié)構(gòu)，刷新各個(gè)數(shù)據(jù)庫的識(shí)別記錄。由于中文語音識(shí)別的復(fù)雜性，國內(nèi)在聲學(xué)模型的研究進(jìn)展相對(duì)更快一些，主流方向是更深更復(fù)雜的神經(jīng)網(wǎng)絡(luò)技術(shù)融合端到端技術(shù)。

2018年，科大訊飛提出深度全序列卷積神經(jīng)網(wǎng)絡(luò)（DFCNN），DFCNN 使用大量的卷積直接對(duì)整句語音信號(hào)進(jìn)行建模，主要借鑒了圖像識(shí)別的網(wǎng)絡(luò)配置，每個(gè)卷積層使用小卷積核，并在多個(gè)卷積層之后再加上池化層，通過累積非常多卷積池化層對(duì)，從而可以看到更多的歷史信息。

2018年，阿里提出 LFR-DFSMN（Lower Frame Rate-Deep Feedforward Sequential Memory Networks）。該模型將低幀率算法和 DFSMN 算法進(jìn)行融合，語音識(shí)別錯(cuò)誤率相比上一代技術(shù)降低 20%，解碼速度提升 3 倍。FSMN 通過在 FNN 的隱層添加一些可學(xué)習(xí)的記憶模塊，從而可以有效的對(duì)語音的長時(shí)相關(guān)性進(jìn)行建模。而 DFSMN 是通過跳轉(zhuǎn)避免深層網(wǎng)絡(luò)的梯度消失問題，可以訓(xùn)練出更深層的網(wǎng)絡(luò)結(jié)構(gòu)。

2019 年，百度提出了流式多級(jí)的截?cái)嘧⒁饬δＰ?SMLTA，該模型是在 LSTM 和 CTC 的基礎(chǔ)上引入了注意力機(jī)制來獲取更大范圍和更有層次的上下文信息。其中流式表示可以直接對(duì)語音進(jìn)行一個(gè)小片段一個(gè)小片段的增量解碼；多級(jí)表示堆疊多層注意力模型；截?cái)鄤t表示利用 CTC 模型的尖峰信息，把語音切割成一個(gè)一個(gè)小片段，注意力模型和解碼可以在這些小片段上展開。在線語音識(shí)別率上，該模型比百度上一代 Deep Peak2 模型提升相對(duì) 15% 的性能。

開源語音識(shí)別 Kaldi 是業(yè)界語音識(shí)別框架的基石。Kaldi 的作者 Daniel Povey 一直推崇的是 Chain 模型。該模型是一種類似于 CTC 的技術(shù)，建模單元相比于傳統(tǒng)的狀態(tài)要更粗顆粒一些，只有兩個(gè)狀態(tài)，一個(gè)狀態(tài)是 CD Phone，另一個(gè)是 CD Phone 的空白，訓(xùn)練方法采用的是 Lattice-Free MMI 訓(xùn)練。該模型結(jié)構(gòu)可以采用低幀率的方式進(jìn)行解碼，解碼幀率為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)聲學(xué)模型的三分之一，而準(zhǔn)確率相比于傳統(tǒng)模型有非常顯著的提升。

遠(yuǎn)場(chǎng)語音識(shí)別技術(shù)主要解決真實(shí)場(chǎng)景下舒適距離內(nèi)人機(jī)任務(wù)對(duì)話和服務(wù)的問題，是 2015 年以后開始興起的技術(shù)。由于遠(yuǎn)場(chǎng)語音識(shí)別解決了復(fù)雜環(huán)境下的識(shí)別問題，在智能家居、智能汽車、智能會(huì)議、智能安防等實(shí)際場(chǎng)景中獲得了廣泛應(yīng)用。目前國內(nèi)遠(yuǎn)場(chǎng)語音識(shí)別的技術(shù)框架以前端信號(hào)處理和后端語音識(shí)別為主，前端利用麥克風(fēng)陣列做去混響、波束形成等信號(hào)處理，以讓語音更清晰，然后送入后端的語音識(shí)別引擎進(jìn)行識(shí)別。

語音識(shí)別另外兩個(gè)技術(shù)部分：語言模型和解碼器，目前來看并沒有太大的技術(shù)變化。語言模型主流還是基于傳統(tǒng)的 N-Gram 方法，雖然目前也有神經(jīng)網(wǎng)絡(luò)的語言模型的研究，但在實(shí)用中主要還是更多用于后處理糾錯(cuò)。解碼器的核心指標(biāo)是速度，業(yè)界大部分都是按照靜態(tài)解碼的方式進(jìn)行，即將聲學(xué)模型和語言模型構(gòu)造成 WFST 網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含了所有可能路徑，解碼就是在該空間進(jìn)行搜索的過程。由于該理論相對(duì)成熟，更多的是工程優(yōu)化的問題，所以不論是學(xué)術(shù)還是產(chǎn)業(yè)目前關(guān)注的較少。

語音識(shí)別的技術(shù)趨勢(shì)
語音識(shí)別主要趨于遠(yuǎn)場(chǎng)化和融合化的方向發(fā)展，但在遠(yuǎn)場(chǎng)可靠性還有很多難點(diǎn)沒有突破，比如多輪交互、多人噪雜等場(chǎng)景還有待突破，還有需求較為迫切的人聲分離等技術(shù)。新的技術(shù)應(yīng)該徹底解決這些問題，讓機(jī)器聽覺遠(yuǎn)超人類的感知能力。這不能僅僅只是算法的進(jìn)步，需要整個(gè)產(chǎn)業(yè)鏈的共同技術(shù)升級(jí)，包括更為先進(jìn)的傳感器和算力更強(qiáng)的芯片。

單從遠(yuǎn)場(chǎng)語音識(shí)別技術(shù)來看，仍然存在很多挑戰(zhàn)，包括：

（1）回聲消除技術(shù)。由于喇叭非線性失真的存在，單純依靠信號(hào)處理手段很難將回聲消除干凈，這也阻礙了語音交互系統(tǒng)的推廣，現(xiàn)有的基于深度學(xué)習(xí)的回聲消除技術(shù)都沒有考慮相位信息，直接求取的是各個(gè)頻帶上的增益，能否利用深度學(xué)習(xí)將非線性失真進(jìn)行擬合，同時(shí)結(jié)合信號(hào)處理手段可能是一個(gè)好的方向。

（2）噪聲下的語音識(shí)別仍有待突破。信號(hào)處理擅長處理線性問題，深度學(xué)習(xí)擅長處理非線性問題，而實(shí)際問題一定是線性和非線性的疊加，因此一定是兩者融合才有可能更好地解決噪聲下的語音識(shí)別問題。

（3）上述兩個(gè)問題的共性是目前的深度學(xué)習(xí)僅用到了語音信號(hào)各個(gè)頻帶的能量信息，而忽略了語音信號(hào)的相位信息，尤其是對(duì)于多通道而言，如何讓深度學(xué)習(xí)更好的利用相位信息可能是未來的一個(gè)方向。

（4）另外，在較少數(shù)據(jù)量的情況下，如何通過遷移學(xué)習(xí)得到一個(gè)好的聲學(xué)模型也是研究的熱點(diǎn)方向。例如方言識(shí)別，若有一個(gè)比較好的普通話聲學(xué)模型，如何利用少量的方言數(shù)據(jù)得到一個(gè)好的方言聲學(xué)模型，如果做到這點(diǎn)將極大擴(kuò)展語音識(shí)別的應(yīng)用范疇。這方面已經(jīng)取得了一些進(jìn)展，但更多的是一些訓(xùn)練技巧，距離終極目標(biāo)還有一定差距。

（5）語音識(shí)別的目的是讓機(jī)器可以理解人類，因此轉(zhuǎn)換成文字并不是最終的目的。如何將語音識(shí)別和語義理解結(jié)合起來可能是未來更為重要的一個(gè)方向。語音識(shí)別里的 LSTM 已經(jīng)考慮了語音的歷史時(shí)刻信息，但語義理解需要更多的歷史信息才能有幫助，因此如何將更多上下文會(huì)話信息傳遞給語音識(shí)別引擎是一個(gè)難題。

（6）讓機(jī)器聽懂人類語言，僅靠聲音信息還不夠，“聲光電熱力磁”這些物理傳感手段，下一步必然都要融合在一起，只有這樣機(jī)器才能感知世界的真實(shí)信息，這是機(jī)器能夠?qū)W習(xí)人類知識(shí)的前提條件。而且，機(jī)器必然要超越人類的五官，能夠看到人類看不到的世界，聽到人類聽不到的世界。

來源：巨靈鳥 歡迎分享本文