在當(dāng)今的音頻處理領(lǐng)域，音頻降噪是一個(gè)至關(guān)重要的研究方向。RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）在音頻降噪方面展現(xiàn)出了獨(dú)特的優(yōu)勢和巨大的潛力。下面我們將深入探討 RNN 音頻降噪背后的技術(shù)原理。

一、RNNoise 項(xiàng)目概述

RNNoise 項(xiàng)目是將深度學(xué)習(xí)應(yīng)用于噪聲抑制的一個(gè)典型范例。其核心理念是巧妙地將經(jīng)典的信號(hào)處理方法與深度學(xué)習(xí)相結(jié)合，從而打造出一個(gè)小巧、快速的實(shí)時(shí)噪聲抑制算法。該算法具有顯著的優(yōu)勢，它不需要昂貴的 GPU 支持，甚至在樹莓派這樣的小型設(shè)備上也能輕松運(yùn)行。與傳統(tǒng)的噪聲抑制系統(tǒng)相比，RNNoise 算法不僅結(jié)構(gòu)更加簡單，調(diào)試起來也更加容易，而且在實(shí)際聽覺效果上表現(xiàn)更為出色。

二、噪聲抑制的基本概念

噪聲抑制在語音處理領(lǐng)域是一個(gè)歷史悠久的話題，最早可以追溯到上世紀(jì) 70 年代。其核心思想是從帶有噪聲的信號(hào)中盡可能地去除噪聲，同時(shí)將對語音內(nèi)容造成的失真降到最低。傳統(tǒng)的噪聲抑制算法通常包含語音活動(dòng)檢測（VAD）模塊和噪聲譜估計(jì)模塊。語音活動(dòng)檢測模塊會(huì)判斷當(dāng)前信號(hào)中是包含語音還是只有噪聲，并將這一信息傳遞給噪聲譜估計(jì)模塊，用于分析噪聲的頻譜特征。一旦了解了噪聲的頻譜特征，就可以嘗試將其從輸入音頻中 “減去”，但實(shí)際操作遠(yuǎn)比聽起來復(fù)雜。傳統(tǒng)算法在各種噪聲環(huán)境下難以穩(wěn)定且高效地工作，需要對算法中的參數(shù)進(jìn)行精細(xì)調(diào)試，并針對特殊信號(hào)編寫專門的處理邏輯，這是一項(xiàng)既需要科學(xué)知識(shí)又需要實(shí)踐經(jīng)驗(yàn)的工作。

（圖 1：傳統(tǒng)噪聲抑制算法概念圖示）

三、深度學(xué)習(xí)與循環(huán)神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)這一古老思想的現(xiàn)代版本。近年來，深度學(xué)習(xí)取得了顯著的進(jìn)展，主要體現(xiàn)在三個(gè)方面：一是能夠構(gòu)建超過兩層隱藏層的深層網(wǎng)絡(luò)；二是掌握了讓循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）記住很久以前模式的方法；三是擁有了足夠的計(jì)算資源來真正訓(xùn)練這些網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)在噪聲抑制中尤為關(guān)鍵，因?yàn)樗軌驅(qū)r(shí)間序列進(jìn)行建模，而不像傳統(tǒng)方法那樣將輸入和輸出幀看作彼此獨(dú)立的。在很長一段時(shí)間里，RNN 的能力受到了限制，主要原因是無法長時(shí)間保存信息以及在 “時(shí)間上的反向傳播” 時(shí)使用的梯度下降過程效率低，容易出現(xiàn)梯度消失問題。后來，門控單元的發(fā)明解決了這些難題，典型的門控結(jié)構(gòu)包括長短期記憶網(wǎng)絡(luò)（LSTM）、門控循環(huán)單元（GRU）等。RNNoise 使用的是 GRU，因?yàn)樗谠撊蝿?wù)上的表現(xiàn)比 LSTM 略好，且占用的資源更少。GRU 額外引入了重置門和更新門兩個(gè) “門控” 機(jī)制，能夠更好地學(xué)習(xí)長期模式。

（圖 2：簡單循環(huán)單元與 GRU 對比）

四、混合式方法

如今，端到端的深度神經(jīng)網(wǎng)絡(luò)方法在語音處理領(lǐng)域越來越流行，但這種方法有時(shí)會(huì)顯得效率低下，且在資源使用上較為浪費(fèi)。RNNoise 采用了不同的方法，保留了基礎(chǔ)的信號(hào)處理部分，只讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)傳統(tǒng)信號(hào)處理中最難調(diào)、最易出錯(cuò)的部分。此外，RNNoise 關(guān)注的是實(shí)時(shí)通信，其前瞻時(shí)間僅為 10 毫秒，這對實(shí)時(shí)性能至關(guān)重要。

五、問題定義與頻帶處理

為了避免使用大量神經(jīng)元，RNNoise 采用了按 Bark 頻率尺度劃分的頻率帶。這種尺度更符合人耳對聲音的感知方式，最終使用了 22 個(gè)頻帶，大大降低了神經(jīng)網(wǎng)絡(luò)的輸出維度，同時(shí)保留了足夠的音質(zhì)信息。通過對頻帶進(jìn)行重疊處理，在高頻部分頻帶變寬，低頻部分頻帶相對較窄。對于每個(gè)頻帶，計(jì)算一個(gè)增益值并應(yīng)用到對應(yīng)頻帶的信號(hào)上，就像一個(gè) 22 段的均衡器，能夠抑制噪聲并保留有用的語音信號(hào)。這種 “按頻帶增益調(diào)整” 的方式具有模型簡單、避免 “音樂噪聲” 偽影、輸出范圍更安全等優(yōu)點(diǎn)。在輸入方面，同樣使用 22 個(gè)頻帶的頻譜信息，并對能量值進(jìn)行對數(shù)計(jì)算和離散余弦變換處理，得到基于 Bark 頻率尺度的倒譜特征。此外，還加入了前 6 個(gè)倒譜系數(shù)的一階和二階導(dǎo)數(shù)、音高周期、音高增益和非平穩(wěn)性值等輸入特征，共構(gòu)成 42 個(gè)神經(jīng)網(wǎng)絡(luò)的輸入特征。

（圖 3：Opus 編碼器頻帶劃分布局與 Bark 頻率尺度對比）

六、深度架構(gòu)

RNNoise 所使用的深度網(wǎng)絡(luò)架構(gòu)從傳統(tǒng)噪聲抑制方法中獲得靈感，大部分處理工作通過 3 層 GRU 完成。網(wǎng)絡(luò)有兩個(gè)輸出，一個(gè)是用于不同頻率上的一組增益值，用于實(shí)現(xiàn)噪聲抑制；另一個(gè)是語音活動(dòng)概率，在其他應(yīng)用中具有重要價(jià)值。實(shí)際測試表明，這種網(wǎng)絡(luò)結(jié)構(gòu)在效果上優(yōu)于其他拓?fù)浣Y(jié)構(gòu)。

（圖 4：神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖）

七、數(shù)據(jù)的重要性

訓(xùn)練數(shù)據(jù)的質(zhì)量對于深度神經(jīng)網(wǎng)絡(luò)至關(guān)重要。在噪聲抑制場景中，由于難以直接收集用于監(jiān)督學(xué)習(xí)的輸入 / 輸出數(shù)據(jù)，需要通過人工合成的方式構(gòu)建訓(xùn)練數(shù)據(jù)。要收集足夠多樣化的噪聲數(shù)據(jù)，并確保訓(xùn)練數(shù)據(jù)涵蓋各種不同的錄音條件。此外，RNNoise 沒有對特征應(yīng)用倒譜均值歸一化，保留了代表音頻能量的第一項(xiàng)，因此需要確保訓(xùn)練數(shù)據(jù)包含各種音量水平的音頻，并對音頻應(yīng)用隨機(jī)濾波，以增強(qiáng)系統(tǒng)對不同麥克風(fēng)頻率響應(yīng)的適應(yīng)能力。

八、基音濾波

由于所使用的頻帶頻率分辨率粗糙，無法細(xì)致地抑制音高諧波之間的噪聲，RNNoise 通過基礎(chǔ)的信號(hào)處理方法 —— 基音濾波來解決這個(gè)問題。以音高周期為間隔對采樣點(diǎn)取平均，形成梳狀濾波器，保留音高諧波位置，衰減其間的頻率分量。為了不扭曲語音信號(hào)，在每個(gè)頻帶上獨(dú)立應(yīng)用濾波，并根據(jù)當(dāng)前幀的音高相關(guān)性和神經(jīng)網(wǎng)絡(luò)輸出的頻帶增益值來確定濾波強(qiáng)度。目前使用的是 FIR 濾波器，未來也考慮使用 IIR 濾波器，以實(shí)現(xiàn)更強(qiáng)的噪聲衰減效果，但需要注意避免信號(hào)失真。