【itc干貨分享】視頻會議中核心音頻處理技術解析
在網絡化社會,遠程協作打破了網絡的限制,低帶寬也可實現超高清的遠程會議,成為信息化辦公建設的重要選擇。此外,用戶也關注遠程交互的音視頻流暢體驗感,當市面上均可實現高清晰度畫質的遠程協作時,音頻處理技術的改進也成為系統研發的一大關注點。
WebRTC技術即實時通信技術,由語音引擎,視頻引擎和網絡傳輸三大模塊組成,其中語音引擎是WebRTC中最具價值的技術之一,也是視頻會議系統為提升音頻處理能力而采用的一項重點技術,實現了音頻數據的采集、前處理、編碼、發送、接受、解碼、混音、后處理、播放等一系列處理流程。
音視頻數據的處理有個預處理過程,也就是在音視頻數據采集完成之后的一步,主要是對采集錄制的音頻數據的預處理,預處理技術用的是3A處理,即AEC (Acoustic Echo Cancellation) 回聲消除,ANS (Automatic
Noise Suppression) 降噪,和 AGC (Automatic Gain Control) 自動增益控制。itc視云4.0遠程視頻會議系統采用3A音頻處理技術,從技術層面提高語音清晰度,最大程度還原現場原聲的溝通效果。
AEC
回音消除(AEC)是為了消除機器自身發出的聲音,不影響外界傳遞過去的聲音。如在雙工通話的場景中,將來自遠端的經過揚聲器放出來的聲音消掉,否則經過麥克風采集和近端說話人信號混在一起被傳遞到遠端,會導致回聲甚至造成嘯叫,這種回聲對于一些通信設備來說體驗是非常差的。
使用不同的自適應濾波算法調整濾波器的權值向量,估計一個近似的回聲路徑來逼近真實回聲路徑,從而得到估計的回聲信號,并在純凈語音和回聲的混合信號中除去此信號來實現回聲的消除。
ANS
噪聲抑制(ANS)可探測出背景噪音并消除,呈現出與會者清晰的聲音。
背景噪聲分為平衡噪聲和瞬時噪聲兩類,平穩噪聲的頻譜穩定,瞬時噪聲的頻譜能量方差小,利用噪聲的特點,對音頻數據添加反向波形處理,即可消除噪聲。
AGC
自動增益控制(AGC),是使放大電路的增益自動地隨信號強度而調整的自動控制方法,主要用于調整音量幅值。
正常人交談的音量在40~60dB之間,低于25dB的聲音聽起來很吃力,超過100dB的聲音會讓人不適。AGC的調整分為模擬部分和數字部分,模擬部分是麥克風的采集增益,數字部分是音頻數據的數字電平調整,最終將音量調整到人接受的范圍。
AEC的作用就是通過播放的參考信號跟蹤出回聲并從采集信號中把回聲消除掉,隨后再經過ANS降噪處理去除噪聲,清澈音頻效果。可為輸入的音頻數據帶來明顯的質量優化,如提高信噪比,避免輸入信號溢出等。AGC可以根據對輸入信號的跟蹤,盡可能將信號調整至期望大小(幅值或能量),從而避免不同設備采集帶來的音量差異過大。itc視云4.0遠程視頻會議系統通過3A音頻處理,集成唇音同步、回聲消除、噪聲消除、自動增益等音頻編解碼技術,還原會議現場原聲效果,帶來親臨其境的高效溝通。
itc視云4.0遠程視頻會議系統的通過用高質、高效的視頻編解碼器實現遠程會議的4K高清交流體驗,降低延時,減少畫質損耗,全球視頻傳輸技術20%丟包的情況下,依舊呈現4K高清畫質,1M網絡即可接入1080P會議,2M網絡可達4K視頻效果,支持有線網絡、WiFi、4G信號等各種網絡接入,實現手機端、電腦端、平板端、硬終端等任意設備隨時隨地流暢與會。
會議資料與主講人畫面同屏顯示,進行資料共享、重點批注,語音轉文字并存儲、會議內容錄制等智會應用,滿足數字會議建設需求,高效決策。云架構設計支持服務器相互備份,保障會議無間斷進行。
itc視云4.0系統廣泛應用于政府、公檢法、集團企業、醫療、教育、金融、景區、園區等各個行業。