<kbd id="ia2e8"><input id="ia2e8"></input></kbd><u id="ia2e8"></u>
  • <blockquote id="ia2e8"></blockquote>
  • <blockquote id="ia2e8"></blockquote>
  • <samp id="ia2e8"><label id="ia2e8"></label></samp>
  • 用于控制多聲道音頻幀丟失隱藏的方法和裝置與流程

    文檔序號:26102444發布日期:2021-07-30 18:13
    用于控制多聲道音頻幀丟失隱藏的方法和裝置與流程

    本申請涉及用于針對立體聲或多聲道音頻編碼和解碼來控制分組丟失隱藏的方法和裝置。



    背景技術:

    盡管電信網絡的容量在不斷增加,但限制每個通信信道的需要帶寬仍然有極大興趣。在移動網絡中,用于每次呼叫的傳輸帶寬越小,移動設備和基站的功耗就越低。這對于移動運營商轉化成對能源和成本的節約,而最終用戶將體驗更長的電池壽命和更長的通話時間。進一步地,由于每個用戶消耗的帶寬更少,移動網絡可并行為更大數量的用戶提供服務。

    通過現代音樂播放系統和電影院,大多數聽眾習慣于高質量沉浸式音頻。在移動電信服務中,對無線電資源的約束和處理延遲已使質量保持在較低水平,并且大多數語音服務仍然僅傳遞單聲道聲音。最近,在需要單聲道之外的沉浸式聲音再現的虛擬/混合/增強現實的環境中,用于通信服務的立體聲和多聲道聲音獲得了動力。在電信網絡的帶寬約束內渲染高質量空間聲音仍然是挑戰。另外,聲音再現還需要應對變化的信道條件,其中偶爾的數據分組可能例如由于網絡擁塞或小區覆蓋范圍差而丟失。

    在典型的立體聲錄音中,聲道對表現出高度的相似性或相關性。立體聲編碼方案[1]的一些實施例可以通過采用參數編碼來利用該相關性,其中單個聲道被高質量地編碼并且被補充有允許全立體圖像的重建的參數描述。將聲道對減少成單個聲道的過程通常被稱為下混合,所產生的聲道通常被稱為下混合聲道。下混合過程通常通過在混合聲道之前對準聲道間時間差(itd)和聲道間相位差(ipd)來嘗試維持能量。為了維持輸入信號的能量平衡,還可以測量聲道間電平差(ild)。然后,itd、ipd和ild被編碼,并且可以在解碼器處重建立體聲聲道對時被用在反向的上混合過程中。itd、ipd和ild參數描述聲道對的相關分量,而立體聲聲道對也可以包括不能從下混合中重建的非相關分量。這個非相關分量可以用聲道間相干參數(icc)來表示。非相關分量可以在立體聲解碼器處通過使解碼的下混合聲道通過去相關濾波器來被合成,去相關濾波器輸出與解碼的下混合具有低相關性的信號。去相關分量的強度可以用icc參數來控制。

    盡管參數立體聲再現在低比特率下給出了良好的質量,但是由于參數模型的限制,質量隨著比特率的增加而趨于飽和。為了克服該問題,可以對非相關分量進行編碼。該編碼是通過在編碼器中模擬立體聲重建并從輸入聲道中減去重建信號來實現的,從而產生殘差信號。如果下混合變換是可逆的,則對于立體聲聲道的情況,殘差信號可以僅由單個聲道表示。通常,殘差信號編碼的目標是在心理聲學上更相關的較低頻率,而較高頻率可以用去相關器方法來合成。圖2是描繪用于包括殘差編碼器的參數立體聲編解碼器的常規設置的實施例的框圖。在圖2中,編碼器接收輸入信號,在立體聲處理和下混合塊210中執行上述的處理,經由單聲道編碼器220對單聲道輸出進行編碼,經由殘差編碼器230對殘差信號進行編碼,并且對itd、ipd、ild和icc參數進行編碼。解碼器接收已編碼單聲道輸出、已編碼殘差信號和已編碼參數。解碼器經由殘差解碼器250對殘差信號進行解碼,并經由單聲道解碼器260對單聲道信號進行解碼。參數合成塊270接收已解碼單聲道信號和已解碼殘差信號,并基于參數來輸出立體聲聲道ch1和ch2。

    類似的原理適用于諸如5.1和7.1.4之類的多聲道音頻以及諸如高保真立體聲(ambisonics)或空間音頻對象編碼之類的空間音頻表示。通過利用聲道之間的相關性并將減少的聲道集與用于在解碼器處的聲道重建或空間音頻渲染的元數據或參數捆綁在一起,可以減少聲道數量。

    為了克服傳輸錯誤和丟失數據包的問題,電信服務使用分組丟失隱藏(plc)技術。在數據分組由于連接不良、網絡擁塞等被丟失或損壞的情況下,在接收機側的丟失或損壞數據分組的丟失信息可以由解碼器用合成信號代替,以隱藏丟失或損壞數據分組。plc技術的一些實施例通常與解碼器密切相關,其中內部狀態可以被用于產生信號延續或外推以掩蓋分組丟失。對于具有用于不同信號類型的若干操作模式的多模式編解碼器,通常有若干種plc技術可被實施以處理丟失或損壞數據分組的隱藏。

    對于基于線性預測(lp)的語音編碼模式,可以使用的技術是基于使用所估計的幀結束音高信息和前一幀的音高周期的復制來調整聲門脈沖位置[2]。取決于連續丟失幀的數量和最后一個好幀的穩定性,長時預測器(ltp)的增益隨速度收斂到零[2]?;陬l域(fd)的編碼模式通常被設計為處理一般或復雜的信號,諸如音樂。對于這種信號,可取決于最后接收的幀的特性來使用不同的技術。這種分析可以包括檢測到的音調分量的數量和信號的周期性。如果幀丟失發生在高度周期信號(諸如活動語音或單一器樂)期間,則類似于基于lp的plc的時域plc可能適于實施。在這種情況下,fdplc可通過基于最后接收的幀來估計lp參數和激勵信號來模擬lp解碼器[2]。如果丟失幀發生在非周期或類噪聲信號期間,則最后接收的幀可在頻譜域中被重復,其中系數與隨機符號信號相乘以減少重復信號的金屬聲音。對于平穩音調信號,已經在一些實施例中發現使用基于檢測到的音調分量的預測和外推的方法是有利的。關于上述技術的更多細節可以在[2]中找到。

    在頻域中操作的一種隱藏方法是相位ecu[3]。它可以被實現為在先前已解碼和重建的時間信號的緩沖器上操作的獨立工具。它的框架是基于正弦分析和合成范式。在該技術中,最后一個好幀的正弦分量被提取并進行相移。當幀丟失時,在dft域中從過去的解碼合成中獲得正弦頻率。首先,通過找到幅度譜平面的峰值來識別對應的頻率區(bin)。然后,使用峰值頻率區來估計峰值的分數頻率。峰值頻率區和對應的分數頻率可以被存儲以用于創建丟失幀的替換。使用分數頻率來對與峰值連同相鄰值對應的頻率區進行相移。對于幀的剩余頻率區,過去的合成的幅度被保留,而相位可以被隨機化。突發錯誤也可以被處理,以使得估計信號可以通過使它收斂到零來被平滑地靜音。相位ecu的更多詳細信息可以在[3]中找到。

    有許多不同的術語用于分組丟失隱藏技術,包括幀錯誤隱藏(fec)、幀丟失隱藏(flc)和錯誤隱藏單元(ecu)。

    上述的plc技術是被設計用于單聲道音頻編解碼器的技術。對于立體聲或多聲道解碼器,用于錯誤隱藏的一個解決方案可以是在每個聲道上應用任一種上述的plc技術。然而,該解決方案不提供對信號的空間特性的任何控制。使用該解決方案很可能將創建非相關信號,這會給出聽起來不自然或太寬的立體聲或多聲道輸出。對于圖2中描繪的立體聲情況,這轉化成對下混合信號和對殘差信號分量分別使用單聲道plc。

    殘差信號分量的錯誤隱藏可能特別敏感,因為殘差分量可以被添加到在空間上未被掩蔽的副信號(sidesignal)。不連續性導致副信號的特性發生巨大變化,并且因此在被聽見時很容易被檢測和發現是擾亂的。



    技術實現要素:

    根據本發明構思的一些實施例,提供了一種在解碼設備中對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似的方法。該方法包括:生成下混合錯誤隱藏幀,并將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀。該方法還包括對變換后下混合隱藏幀去相關以生成去相關隱藏幀。該方法還包括獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜。該方法還包括:使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀,并向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀。該方法還包括執行合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    將用于頻譜的峰值的相位演變錯誤隱藏方法與來自通過去相關器后的錯誤隱藏下混合信號的噪聲頻譜相結合的潛在優勢在于:該操作通過對峰值進行相位調整來避免了周期信號分量中的不連續性。另外,噪聲頻譜與下混合信號保持期望的關系,例如期望的相關性水平。另一個潛在優勢是該操作在幀丟失期間將殘差信號的能級保持在穩定水平。

    根據本發明構思的其他實施例,一種裝置被配置為對所接收的多通道音頻信號的丟失或損壞多通道音頻幀進行近似。該裝置包括至少一個處理器和與處理器通信耦合的存儲器,所述存儲器包括可由處理器執行的指令,這些指令使得處理器執行操作。該操作包括:生成下混合錯誤隱藏幀,并將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀。該操作還包括對變換后下混合隱藏幀去相關以生成去相關隱藏幀。該操作還包括獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜。該操作還包括使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀,并向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀。該操作還包括執行合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    根據本發明構思的其他實施例,一種解碼器被配置為執行操作。該操作包括:生成下混合錯誤隱藏幀,并將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀。該操作還包括對變換后下混合隱藏幀去相關以生成去相關隱藏幀。該操作還包括獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜。該操作還包括使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀,并向參數多聲道音頻合成組件提供經換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀。該操作還包括執行合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    根據本發明構思的其他實施例,一種計算機程序產品包括存儲計算機程序代碼的非暫時性計算機可讀介質,該計算機程序代碼在由至少一個處理器執行時使得至少一個處理器:生成下混合錯誤隱藏幀;將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀;對變換后下混合隱藏幀去相關以生成去相關隱藏幀;獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜;使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀;向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀;以及執行合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    根據本發明構思的一些其他實施例,提供了一種在包括處理器的解碼設備中對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似的方法,該方法包括由處理器執行的以下操作。該操作包括:生成下混合錯誤隱藏幀,并將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀。該操作還包括對變換后下混合隱藏幀去相關以生成去相關隱藏幀。該操作還包括獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜。該操作還包括使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀。該操作還包括獲得多聲道音頻替換參數集。該操作還包括執行變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、和來自先前接收的多聲道音頻信號幀的多聲道音頻參數的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀、和多聲道音頻時域參數。該操作還包括向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀和多聲道音頻時域參數,以生成合成多聲道音頻替換幀。

    根據本發明構思的一些其他實施例,一種計算機程序產品包括存儲計算機程序代碼的非暫時性計算機可讀介質,該計算機程序代碼在由至少一個處理器執行時使得至少一個處理器:生成下混合錯誤隱藏幀;將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀;對變換后下混合隱藏幀去相關以生成去相關隱藏幀;獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜;使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀;獲得多聲道音頻時域替換參數集;執行變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀和能量被調整的去相關殘差隱藏時域幀;以及向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀、和多聲道音頻時域替換參數,以生成合成多聲道音頻替換幀。

    根據本發明構思的一些其他實施例,提供了一種被配置為對所接收的多通道音頻信號的丟失或損壞多通道音頻幀進行近似的裝置。該裝置包括至少一個處理器和與處理器通信耦合的存儲器,所述存儲器包括可由處理器執行的指令,這些指令使得處理器執行操作。該操作包括:生成下混合錯誤隱藏幀,并將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀。該操作還包括對變換后下混合隱藏幀去相關以生成去相關隱藏幀。該操作還包括獲得先前接收的多聲道音頻信號的已存儲殘差信號的殘差信號頻譜。該操作還包括使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀。該操作還包括獲得多聲道音頻替換參數集。該操作還包括執行變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、和來自先前接收的多聲道音頻信號幀的多聲道音頻參數的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀、和多聲道音頻時域參數。該操作還包括向參數多聲道音頻合成組件提供變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀和多聲道音頻時域參數,以生成合成多聲道音頻替換幀。

    附圖說明

    附圖被包括以提供對本公開的進一步理解并被并入且構成本申請的一部分,附圖示出了本發明構思的某些非限制性實施例。在附圖中:

    圖1是示出根據一些實施例的丟失隱藏系統的環境的示例的框圖;

    圖2是示出根據一些實施例的參數立體聲編解碼器的組件的框圖;

    圖3是示出根據一些實施例的被組合的正弦分量和噪聲頻譜的圖;

    圖4是示出根據一些實施例的立體聲參數編碼器的框圖;

    圖5是示出根據一些實施例的立體聲參數解碼器的框圖;

    圖6是示出根據本發明構思的一些實施例的生成殘差信號的操作的框圖;

    圖7是示出根據本發明構思的一些實施例的生成替換多聲道音頻幀的操作的框圖;

    圖8是示出根據本發明構思的一些實施例的解碼器的操作的流程圖;

    圖9是示出根據本發明構思的一些實施例的解碼器生成殘差信號的操作的流程圖;

    圖10a和圖10b是根據本發明構思的一些實施例的所生成的殘差信號的所生成的頻譜的圖示;

    圖11是示出根據本發明構思的一些實施例的解碼器的框圖;

    圖12-圖18是示出根據本發明構思的一些實施例的解碼器的操作的流程圖;

    圖19是示出根據本發明構思的一些實施例的近似相位調整的框圖。

    具體實施方式

    現在將在下文中參考附圖更全面地描述本發明構思,其中示出了本發明構思的實施例的示例。然而,本發明構思可以被體現在許多不同的形式中并且不應被解釋為限于本文所闡述的實施例。相反,提供這些實施例使得本公開將是徹底和完整的,并將向本領域技術人員充分傳達本發明構思的范圍。還應注意,這些實施例并不相互排斥。來自一個實施例的組件可以被默認假設在另一個實施例中存在/使用。

    以下描述呈現了所公開主題的各種實施例。這些實施例被呈現為教導示例,并且不應被解釋為限制所公開主題的范圍。例如,在不脫離所描述的主題的范圍的情況下,可以修改、省略或擴展所描述的實施例的某些細節。

    圖1示出了解碼器100的操作環境的示例,解碼器100可以被用于解碼如本文所描述的多聲道比特流。解碼器100可以是媒體播放器、移動設備、機頂設備、臺式計算機等的一部分。解碼器100接收編碼比特流。比特流可以從編碼器、從存儲設備104、經由網絡102從云上設備等被發送。在操作期間,解碼器100接收并處理如本文所描述的比特流的幀。解碼器100輸出多聲道音頻信號,并將多聲道音頻信號發送到多聲道音頻播放器106,多聲道音頻播放器106具有至少一個揚聲器以用于播放多聲道音頻信號。存儲設備104可以是諸如商店或流媒體音樂服務的存儲庫之類的多聲道音頻信號的存儲庫的一部分、單獨的存儲組件、移動設備的組件等。多聲道音頻播放器可以是藍牙揚聲器、具有至少一個揚聲器的設備、移動設備、流媒體音樂服務等。

    圖11是示出根據本發明構思的一些實施例的解碼器100的元件的框圖,解碼器100被配置為解碼多聲道音頻幀并對丟失或損壞幀提供隱藏。如圖所示,解碼器100可以包括網絡接口電路1105(也被稱為網絡接口),網絡接口電路1105被配置為提供與其他設備/實體/功能/等的通信。解碼器100還可以包括被耦合到網絡接口電路1105的處理器電路1101(也被稱為處理器)和被耦合到處理器電路的存儲器電路1103(也稱為存儲器)。存儲器電路1103可以包括計算機可讀程序代碼,該計算機可讀程序代碼在由處理器電路1101執行時使得處理器電路執行根據本文所公開的實施例的操作。

    根據其他實施例,處理器電路1101可以被定義為包括存儲器,以便不需要單獨的存儲器電路。如本文所討論的,解碼器100的操作可以由處理器1101和/或網絡接口1105執行。例如,處理器1101可以控制網絡接口1105以向多聲道音頻播放器106發送通信和/或通過網絡接口102從一個或多個其他網絡節點/實體/服務器(諸如編碼器節點、存儲庫服務器等)接收通信。此外,模塊可以被存儲在存儲器1103中,并且這些模塊可以提供指令,以便當模塊的指令被處理器1101執行時,處理器1101執行相應的操作。

    在一個實施例中,可以使用在圖2中示出的多聲道編碼器和解碼器系統的多聲道解碼器。更詳細地,可以參考圖4描述編碼器。在下面的描述中,將使用兩個聲道來描述實施例。這些實施例可以與多于兩個聲道一起使用。多聲道編碼器以被稱為幀的段來處理輸入左右聲道(在圖2中表示為ch1和ch2,在圖4中表示為l和r)。對于給定幀m,兩個輸入聲道可以被寫成

    其中,l表示左聲道,r表示右聲道,n=0,1,2,…,n表示幀m中的樣本數,n是幀的長度。在實施例中,可以在編碼器中以重疊方式提取幀,以使得解碼器可以使用重疊相加策略來重建多聲道音頻信號。輸入聲道用合適的窗口函數w(n)進行窗口化,并被變換到離散傅立葉變換(dft)域。注意,在此處可以使用其他頻域表示,諸如正交鏡像濾波器(qmf)濾波器組、混合qmf濾波器組、或由mdct和mdst變換分量組成的奇數dft(odft)表示。

    然后,在參數分析方框410中分析信號以提取itd、ipd和ild參數。此外,可以分析聲道相干性,并可以導出icc參數。用于幀m的多聲道音頻參數集可以被表示為p(m),它包含在參數表示中使用的itd、ipd、ild和icc參數的完整集合。這些參數被參數編碼器430編碼,并被添加到比特流以被存儲和/或被發送到解碼器。

    在產生下混合聲道之前,在一個實施例中,補償itd和ipd以減少抵消并最大化下混合的能量可以是有益的。itd補償既可以在頻率變換之前在時域中實現,也可以在頻域中實現,但在本質上它是在一個或兩個聲道上執行時移以消除itd。相位對準可以以不同方式實現,但目的是對準相位,以使得抵消被最小化。這確保了下混合中的最大能量。itd和ipd調整可以在頻帶中進行,或者在全頻譜上進行,并且優選地,應當使用量化itd和ipd參數來進行以確??梢栽诮獯a器級中使修改反轉。

    下面描述的實施例獨立于ipd和itd參數分析和補償的實現。換言之,這些實施例不依賴于如何分析或補償ipd和itp。在這種實施例中,itd和ipd被調整的聲道用星號表示:

    然后,itd和ipd被調整的輸入聲道被參數分析和下混合塊410進行下混合以產生中間/副表示,也稱為下混合/副表示。執行下混合的一種方式是使用信號的和與差。

    下混合信號xm(m,k)被下混合編碼器420編碼以被存儲和/或被發送到解碼器。該編碼可以在頻域中進行,但它也可以在時域中進行。在那種情況下,需要dft合成級來產生下混合信號的時域版本,該時域版本隨后被提供給下混合編碼器420。然而,到時域的變換可能引入與多聲道音頻參數的延遲失準,這會需要額外的處理。在一個實施例中,這通過引入附加延遲或通過對參數進行內插來解決,以確保下混合的解碼器合成與多聲道音頻參數對準。

    互補副信號xs(m,k)可以由局部參數合成塊440根據下混合和所獲得的多聲道音頻參數生成。副信號預測可以使用下混合信號來導出:

    其中,p(·)是預測函數并可被實現為單一縮放因子α,該縮放因子可以最小化副信號與預測的副信號之間的均方誤差(mse)。進一步地,預測可被應用到頻帶上并涉及用于每個頻帶b的預測參數。

    如果頻帶b的系數被指定為列向量和xm,b(m),則最小mse預測器可以被推導為

    然而,該表達式可被簡化以產生更穩定的預測參數。預測參數αb可以被用作ild參數的可替代實現。在參考文獻[4]的預測模式中描述了更多細節。

    給定預測副信號,可以創建預測殘差xr(m,k)[4]。

    預測殘差可以被輸入到殘差編碼器450中。編碼可以直接在dft域中進行或者可以在時域中進行。類似地,對于下混合編碼器,時域編碼器會需要dft合成,dft合成可能需要在解碼器中對準信號。殘差信號表示與下混合信號不相關的漫射分量。如果殘差信號未被發送,則一個實施例中的解決方案可以是用來自已解碼下混合信號的去相關版本的信號來在解碼器中在立體聲合成狀態下替換用于殘差信號的信號。該替換通常被用于低比特率,其中,比特預算太低而無法用任何有用的分辨率來表示殘差信號。對于中間比特率,通常對殘差的一部分進行編碼。在這種情況下,較低的頻率通常被編碼,因為它們在感知上更相關。對于頻譜的剩余部分,去相關器信號被用作解碼器中殘差信號的替換。該方法通常被稱為混合編碼模式[4]。下面在解碼器描述中提供更多細節。

    已編碼下混合、已編碼多聲道音頻參數、和已編碼殘差信號的表示被復用成比特流360,比特流360可以被發送到解碼器或被存儲在介質中以供將來解碼。

    在一個實施例中,在dft域中使用多聲道解碼器,如在圖5至圖7中示出。圖5示出了解碼器的實施例,其中圖6的塊在丟失幀的情況下生成殘差信號。圖7示出了圖5和圖6的塊的組合的實施例。在下面的描述中,應使用圖7的塊。然而,應當注意,圖7的解復用器710至少提供與圖5的解復用器510相同的功能,圖7的下混合解碼器715至少提供與圖5的下混合解碼器520相同的功能,圖7的立體聲參數解碼器725至少提供與圖5的立體聲參數530相同的功能,圖7的去相關器730至少提供與圖5的去相關器540相同的功能,圖7的殘差解碼器735至少提供與圖5的殘差解碼器550相同的功能,圖7的參數合成塊760至少提供與圖5的參數合成塊560相同的功能。類似地,圖7的下混合plc720至少提供與圖6的下混合plc610相同的功能,圖7的去相關器730至少提供與圖6的去相關器620相同的功能,圖7的存儲器740至少提供與圖6的存儲器630相同的功能,圖7的頻譜整形器745至少提供與圖6的頻譜整形器640相同的功能,圖7的相位ecu750至少提供與圖6的相位ecu650相同的功能,圖7的信號組合器755至少提供與圖6的信號組合器660相同的功能,并且圖7的參數合成塊760至少提供與圖6的參數合成塊670相同的功能。

    現在轉到圖7,下混合解碼器715提供重建的下混合信號該信號被分段成dft分析幀m,n=0,1,2,…,n-1表示在幀m內的樣本數。分析幀通常以重疊方式被提取,這允許在dft合成階段使用重疊相加策略。通過dft變換可以得到對應的dft頻譜:

    其中,w(n)表示合適的窗口函數??梢允褂妙l率特性與由于重疊區域的長度而導致的算法延遲之間的折衷來設計窗口函數的形狀。類似地,殘差解碼器635針對幀m和時間實例n=0,1,2,…nr產生重建的殘差信號注意,幀長度nr可以與n不同,因為殘差信號可以以不同的采樣率來產生。由于殘差編碼可以僅針對較低的頻率范圍,因此,用較低的采樣率來表示它以節省存儲器和計算復雜度可以是有益的。獲得殘差信號的dft表示注意,如果殘差信號在dft域中被上采樣到與重建的下混合相同的采樣率,則dft系數將需要用n/nr來縮放,并且會被零填充以匹配長度n。為了簡化符號,并且由于本實施例不受使用不同采樣率的影響,因此,為了更好地理解該方法,在下面的描述中采樣率應是相等的,并且nr=n。因此,不應顯示縮放或零填充。

    應當注意,在下混合和/或殘差信號在dft域中被編碼的情況下,不需要借助dft的頻率變換。在這種情況下,下混合和/或殘差信號的解碼提供了進一步處理所需的dft頻譜。

    在無錯誤幀(通常被稱為好幀)中,多聲道音頻解碼器使用已解碼下混合信號連同已解碼多聲道音頻參數一起并結合已解碼殘差信號來產生多聲道合成。殘差信號的dft頻譜被存儲在存儲器740中,以使得變量始終保持最后接收幀的殘差信號頻譜。

    在一些實施例中,可以存儲頻譜的相關子部分以節省存儲器,例如,僅存儲較低的頻率區。在其他實施例中,殘差信號可以被存儲在時域中,并且只有在發生錯誤時才可以獲得dft頻譜。這可以降低峰值計算復雜度,因為錯誤隱藏操作通常比正確接收幀的解碼具有更低的復雜度。在下面的描述中,殘差信號在正常操作期間已經被變換到dft域,并且殘差信號被存儲為dft頻譜。在其他實施例中,殘差信號被存儲在時域中。在這些實施例中,通過將殘差信號變換到dft域來獲得殘差信號頻譜。

    已解碼下混合被饋送到去相關器730以合成非相關信號分量d(m,n),并且所得到的信號被變換到dft域xd(m,k)。注意,去相關也可以在頻域中進行。已解碼下混合去相關分量xd(m,k)和殘差信號與多聲道音頻參數p(m)一起被饋送到參數多聲道合成塊660以產生重建的多聲道音頻信號。當在dft域中已經應用了多聲道合成后,左聲道和右聲道被變換到時域,并從立體聲解碼器輸出。

    轉到圖12,當解碼器100檢測到已編碼多聲道音頻信號的丟失或損壞多聲道音頻幀(即,壞幀)時,解碼器100可以執行的操作。當解碼器檢測到丟失或損壞幀即壞幀(由圖7中的壞幀指示符(bfi)表示)時,執行plc技術。在操作1201中,下混合解碼器715的plc被激活,并生成針對下混合的錯誤隱藏幀在操作1203中,對下混合錯誤隱藏幀進行頻率變換以產生對應的dft頻譜在操作1205中,變換后下混合錯誤隱藏幀可被輸入到同一去相關器功能730中,該去相關器功能730被用于下混合以生成去相關隱藏幀decu(m,n),或被輸入到不同的去相關器功能,然后進行頻率變換以產生去相關下混合隱藏幀xd,ecu(m,k)。

    去相關器功能可以在變換之前在時域中完成,采用全通濾波器、延遲或其組合的形式。它也可以在頻率變換之后在頻域中完成,在這種情況下,它會對幀進行操作,可能包括過去的幀。

    在操作1207中,獲得殘差信號頻譜。殘差信號頻譜可以從它先前已被存儲的存儲器中取回。在殘差信號在dft變換操作之前被存儲的情況下,通過對已存儲殘差信號執行dft操作來獲得殘差信號頻譜。為了生成殘差信號的隱藏幀,在操作1209中,生成能量被調整的去相關殘差信號。在操作1209中,相位ecu750對如先前所述被存儲在存儲器740中的來自過去的合成的殘差信號執行相位外推或相位演變策略中。還參見[3]。

    轉到圖13,在操作1301中,相位外推或相位演變策略對殘差信號頻譜的峰值正弦曲線進行相移(參見圖3的正弦分量),并在操作1303中,對非峰值正弦曲線的噪聲頻譜(參見圖3的噪聲頻譜)的能量進行調整。這些操作的更多細節在圖14中被提供。

    轉到圖14,在操作1401中,殘差信號頻譜(也可以被稱為“原型信號”)被首先輸入到峰值檢測器電路,峰值檢測器電路在分數頻率的尺度上檢測峰值頻率??梢詸z測到一組峰值:

    f={fi},i=1,2,…npeaks,

    這些峰值由它們的估計分數頻率fi表示,并且其中npeaks是被檢測到的峰值的數量。在此,分數頻率被表示為dft區的分數,使得例如奈奎斯特頻率被發現在f=n/2+1。然后在操作1403中,每個被檢測到的峰值與表示被檢測到的峰值的多個頻率區相關聯。頻率區的數量可以通過將分數頻率取整到最接近的整數并包括相鄰區來找到,例如,在每一邊的npeaks個峰值:

    其中,[·]表示取整運算,gi是表示在頻率fi處的峰值的區群組。數量npeaks是在設計系統時被確定的細調常數。較大的npeaks在每個峰值表示中提供更高的準確性,但也在可被建模的峰值之間引入更大的距離。npeaks的合適值可以是1或2。殘差信號的隱藏頻譜xr,ecu(m,k)是通過插入區群組而形成的,包括相位調整操作1405,其基于分數頻率和前一幀的分析幀與當前幀會開始的位置之間的樣本數。

    nstep=n-noverlap

    根據下面的相位調整,對每個峰值頻率fi的相位調整被應用到每個對應的區群組gi:

    δφi=2πnstepfi/n,

    該相位調整被應用到殘差信號的隱藏頻譜的對應區:

    在操作1407中,使用去相關隱藏幀xd,ecu(m,k)的譜系數來填充xr,ecu(m,k)的未被峰值區gi占據的剩余區(其可被稱為噪聲頻譜或頻譜的噪聲分量)。為了確保系數具有合適的能級和整體頻譜形狀,可以調整能量以匹配殘差頻譜存儲器的噪聲頻譜的能量。這可以通過在計算緩沖器中將所有峰值區gi設置為零并匹配剩余噪聲頻譜區的能量來完成。如圖10a中所示,能量匹配可以以頻帶為基礎來進行。

    轉到圖15,在操作1501中,指定跨越區范圍kstart(b)…kend(b)的頻帶b。在操作1503中,能量匹配增益因子gb可被計算為:

    在操作1505中,使用能量匹配增益因子,用能量被調整的去相關殘差隱藏幀來填充噪聲頻譜區k:

    對于頻帶b,

    注意,也可以將縮放應用于寬頻帶或窄頻帶或者甚至針對每個頻率區。在對每個區進行縮放的情況下,殘差存儲器的幅度頻譜被保持,同時應用來自去相關隱藏幀xd,ecu(m,k)的頻譜的相位。例如,可以通過xd,ecu(m,k)的幅度調整以匹配的幅度或通過的相位調整以匹配xd,ecu(m,k)的相位,可以實現縮放。然而,以頻帶為基礎執行縮放保留了一些可能期望的頻譜精細結構。

    在針對每個頻率區進行縮放的情況的實施例中,應用來自去相關隱藏幀xd,ecu(m,k)的頻譜的相位可以使用相位的近似值。這可以降低縮放的復雜性。能量匹配增益因子gk可以被計算為:

    使用能量匹配增益因子,用能量被調整的去相關殘差隱藏幀來填充噪聲頻譜區k:

    gk的計算涉及平方根和除法,這在計算上可能很復雜。在實施例中,使用近似相位調整,它匹配相位目標的實分量和虛分量的絕對值的符號和階數,以使得相位在相位目標的π/4內移動。該實施例可以跳過用能量匹配增益因子gk進行的增益縮放。xr,ecu(m,k)可以被寫成:

    xr,ecu(m,k)=a+jb

    其中,在實分量和虛分量的絕對值的階數相同的情況下,即

    (c,d)是

    否則,

    近似相位調整在圖19中被示出。在圖19中,相位目標由在1900所圖示的xd,ecu(m,k)給出。非相位調整的ecu合成在1904處被圖示。在近似相位調整已被應用之后的ecu合成xd,ecu(m,k)在1902處被圖示。近似相位調整可以以頻帶為基礎和/或以每個頻率區為基礎而使用。

    注意,如果未找到音調分量,即未檢測到峰值,則整個隱藏幀將由被應用了頻譜整形的去相關隱藏幀xr,ecu(m,k)組成。這在圖17中被圖示。轉到圖17,在操作1701中,解碼器100在分數頻率的尺度上檢測在殘差信號頻譜中是否存在峰值信號。如果有峰值信號,則執行操作1703至1707。具體地,在操作1703中,將每個峰值頻率與多個峰值頻率區相關聯。操作1703在操作上類似于操作1403。在操作1705中,對多個峰值頻率區中的每一個應用相位調整。操作1705在操作上類似于操作1405。在操作1707中,使用去相關隱藏幀的譜系數來填充剩余區,并調整剩余區的能級以匹配殘差頻譜存儲器的噪聲頻譜的能級。操作1707在操作上類似于操作1407。如果沒有峰值信號,則執行操作1709,其使用去相關隱藏幀的譜系數來填充所有區,并調整區的能級以匹配殘差頻譜存儲器的噪聲頻譜的能級。

    為了完成錯誤隱藏幀的立體聲合成,需要對丟失幀估計多聲道參數。該隱藏可以用各種方法來完成,但被發現給出合理結果的一種方法是僅重復來自最后接收幀的立體聲參數以產生多聲道音頻替換參數

    隱藏殘差頻譜的最終頻譜是通過在信號組合器755中將頻譜峰值與能量被調整的噪聲頻譜進行組合而找到的。組合的示例在圖10b中被圖示。

    返回圖12,在操作1211中,下混合錯誤隱藏幀去相關下混合隱藏幀xd,ecu(m,k)和能量被調整的去相關殘差隱藏幀xr,ecu(m,k)與多聲道音頻參數一起被饋送到參數合成塊760以產生重建信號。在dft域中已應用了合成之后,在操作1213中,多聲道信號被變換到時域(例如,左聲道和右聲道),并從立體聲解碼器輸出。

    例如,在圖16的操作1601中,基于重建信號(即,替換幀)生成多聲道音頻信號。在操作1603中,向至少一個揚聲器輸出多聲道音頻信號以用于回放。

    轉到圖5至圖7,示出了dft和idft。idft用于將下混合解碼和殘差解碼與dft分析階段解耦。在其他實施例中,不使用idft。在上述的信號處理在時域中執行的其他實施例中,dft僅被用于提供去相關下混合隱藏幀xd,ecu(m,k)和殘差信號頻譜而idft被用于提供它們的時域對應項。

    轉到圖8和圖9,圖示了描繪圖12的殘差信號的隱藏操作如何可以串行或并行地執行的流程圖。在無錯誤幀的情況下,殘差信號的dft譜被存儲在存儲器中,并在操作810中在每個無錯誤幀中被更新。該存儲器隨后被用于“丟失幀”的隱藏。當解碼器檢測到幀丟失/損壞或被通知幀丟失/損壞時,在操作820中,激活被設計用于下混合部分的plc算法,并生成下混合信號用于下混合的plc算法可以從上述的技術中選擇。然后,在操作830中,可被饋送到去相關器,以提取非相關信號xd,ecu(m,k)。去相關也可以在時域中執行。此外,保存過去幀的下混合信號的下混合存儲器可以被包括在去相關器的輸入中。然后在操作840中,對殘差存儲器的正弦分量,來自最后一個好幀的殘差進行相移。注意,操作830和840是彼此獨立的,并且可以以其他方式執行。為了保持殘差信號的形狀接近最后一個好幀的殘差,在操作850中,基于最后一個好幀的殘差信號來對去相關器信號的頻譜進行重整形。在操作860中,將最后一個好幀的殘差信號的相移后正弦分量和重整形的去相關信號組合,并生成殘差信號的隱藏幀xr,ecu(m,k)。在另一個實施例中,解碼器可以與操作840并行地處理操作820和830。這在圖9中被圖示。

    圖10a和圖10b示出如何對去相關器信號進行整形的示例。圖10a示出了殘差信號頻譜(被標記為原型)和去相關器輸出。圖10b示出了用于如上所述被導出的殘差信號的隱藏幀xr,ecu(m,k)。

    如前所述,參數合成塊660的輸入可以替代地處于時域中。圖18示出了解碼器100在參數合成塊660的輸入在時域中并且參數合成塊在時域中合成信號時的操作。操作1801至1811是與如上所述的圖12的操作1201至1211相同的操作。在操作1813中,解碼器100對去相關隱藏幀和殘差信號的隱藏幀執行逆頻域(ifd)變換。在操作1815中,產生的ifd變換信號和參數多聲道音頻時域替換參數被提供給多聲道音頻合成組件760,其在時域中生成輸出聲道。

    實施例的列表:

    1.一種在包括處理器的解碼設備中對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似的方法,該方法包括由處理器執行的以下操作:

    生成下混合錯誤隱藏幀(610,720,820,1201);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1203);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(620,730,830,1205);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1207);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(640-660,745-755,850-860,1209);

    獲得多聲道音頻替換參數集;

    向參數多聲道音頻合成組件提供(1213)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及多聲道音頻替換參數,以生成合成多聲道音頻幀;以及

    執行(1215)合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    2.根據實施例1所述的方法,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻替換參數集。

    3.根據實施例1-2中任一項所述的方法,還包括:

    基于替換幀來生成(1601)多聲道音頻信號;以及

    向至少一個揚聲器輸出(1603)多聲道音頻信號以用于回放。

    4.根據實施例1-3中任一項所述的方法,其中,獲得殘差信號頻譜包括從存儲設備取回殘差信號頻譜。

    5.根據實施例1-4中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    對殘差信號頻譜的峰值正弦分量進行相移(650,750,840,1301);以及

    調整(640,745,850,1303)已存儲殘差信號的殘差信號頻譜的非峰值正弦分量的噪聲頻譜的能量。

    6.根據實施例1-4中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測已存儲殘差信號的殘差信號頻譜的峰值頻率(1401,1701);

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1403,1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1405,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1407,1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    7.根據實施例1-4中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測在已存儲殘差信號的殘差信號頻譜中是否存在峰值頻率(650,750,840,1701);

    響應于檢測到在殘差信號頻譜中沒有峰值頻率:

    使用去相關隱藏幀的譜系數來填充(1709)殘差信號隱藏頻譜的每個區,并調整區的能級以匹配殘差信號頻譜的噪聲頻譜的能級;

    響應于檢測到在殘差信號頻譜中有峰值頻率:

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    8.根據實施例6-7中任一項所述的方法,其中,調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級包括以頻帶為基礎來匹配能級。

    9.根據實施例7所述的方法,其中,頻帶b跨越(1501)區范圍kstart(b)…kend(b),并且匹配能級包括:

    計算(1503)能量匹配增益因子gb為

    以及用能量被調整的去相關殘差隱藏幀來填充(1505)剩余區,

    對于頻帶b,

    10.根據實施例1-9中任一項所述的方法,其中,能量被調整的去相關殘差信號隱藏幀的生成與將下混合錯誤隱藏幀變換到頻域中以及變換后下混合隱藏幀的去相關并行執行。

    11.根據實施例1-10中任一項所述的方法,其中,將下混合錯誤隱藏幀變換到頻域中和變換后下混合隱藏幀的去相關中的一個在將下混合錯誤隱藏幀變換到頻域中和變換后下混合隱藏幀的去相關中的另一個之前被執行。

    12.一種用于通信網絡的解碼器(100),解碼器(100)包括:

    處理器(1101);以及

    與處理器耦合的存儲器(1103),其中存儲器包括指令,該指令在被處理器執行時使得處理器執行根據實施例1-11中任一項所述的操作。

    13.一種計算機程序,包括計算機可執行指令,該計算機可執行指令被配置為當在設備中包括的處理器(1101)上執行時使得該設備執行根據實施例1-11中任一項所述的方法。

    14.一種計算機程序產品,包括計算機可讀存儲介質(1103),該計算機可讀存儲介質(1103)具有計算機可執行指令,該計算機可執行指令被配置為當在設備中包括的處理器(1101)上執行時使得設備執行根據實施例1-11中任一項所述的方法。

    15.一種裝置,被配置為對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似,該裝置包括:

    至少一個處理器(1101);

    與處理器通信耦合的存儲器(1103),所述存儲器包括可由處理器執行的指令,該指令使得處理器執行包括以下的操作:

    生成下混合錯誤隱藏幀(610,720,820,1201);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1203);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(620,730,830,1205);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1207);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(640-660,745-755,850-860,1209);

    獲得(1211)多聲道音頻替換參數集;

    向參數多聲道音頻合成組件提供(1213)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及多聲道音頻替換參數,以生成合成多聲道音頻幀;以及

    執行(1215)合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    16.根據實施例15所述的裝置,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻替換參數集。

    17.根據實施例15-16中任一項所述的裝置,還包括:

    基于替換幀來生成(1601)多聲道音頻信號;以及

    向至少一個揚聲器輸出(1603)多聲道音頻信號以用于回放。

    18.根據實施例15-17中任一項所述的裝置,其中,獲得殘差信號頻譜包括從存儲設備取回殘差信號頻譜。

    19.根據實施例15-18中任一項所述的裝置,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    對殘差信號頻譜的峰值正弦分量進行相移(650,750,840,1301);以及

    調整(640、745、850、1303)已存儲殘差信號的殘差信號頻譜的非峰值正弦分量的噪聲頻譜的能量。

    20.根據實施例15-18中任一項所述的裝置,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測已存儲殘差信號的殘差信號頻譜(1401,1701)的峰值頻率;

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1403,1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1405,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1407,1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    21.根據實施例15-18中任一項所述的裝置,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測在已存儲殘差信號的殘差信號頻譜中是否存在峰值頻率(650,750,840,1701);

    響應于檢測到在殘差信號頻譜中沒有峰值頻率:

    使用去相關隱藏幀的譜系數來填充(1709)殘差信號隱藏頻譜的每個區,并調整區的能級以匹配殘差信號頻譜的噪聲頻譜的能級;

    響應于檢測到在殘差信號頻譜中有峰值頻率:

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    22.根據實施例20-21中任一項所述的裝置,其中,調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級包括以頻帶為基礎來匹配能級。

    23.根據實施例22所述的裝置,其中,頻帶b跨越(1501)區范圍kstart(b)…kend(b),并且匹配能級包括:

    計算(1503)能量匹配增益因子gb為

    以及用能量被調整的去相關殘差隱藏幀來填充(1505)剩余區,

    對于頻帶b,

    24.一種音頻解碼器,包括根據實施例14-21中任一項所述的裝置。

    25.一種被配置為執行操作的解碼器,該操作包括:

    生成下混合錯誤隱藏幀(610,720,820,1201);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1203);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(620,730,830,1205);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1207);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(640-660,745-755,850-860,1209);

    獲得(1211)多聲道音頻替換參數集;

    向參數多聲道音頻合成組件提供(1213)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀;以及

    執行(1215)合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    26.根據實施例25所述的解碼器,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻替換參數集。

    27.一種計算機程序產品,包括存儲計算機程序代碼的非暫時性計算機可讀介質,所述計算機程序代碼在由至少一個處理器執行時使得至少一個處理器:

    生成下混合錯誤隱藏幀(610,720,820,1201);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1203);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(620,730,830,1205);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1207);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(640-660,745-755,850-860,1209);

    獲得(1211)多聲道音頻替換參數集;

    向參數多聲道音頻合成組件提供(1213)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、以及來自先前接收的多聲道音頻信號幀的多聲道音頻參數,以生成合成多聲道音頻幀;以及

    執行(1215)合成多聲道音頻幀的逆頻域變換以生成丟失或損壞多聲道音頻幀的替換幀。

    28.根據實施例27所述的計算機程序產品,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻替換參數集。

    29.根據實施例27-28中任一項所述的計算機程序產品,其中,所述非暫時性計算機可讀介質存儲其它計算機程序代碼,其它計算機程序代碼在被執行時使得至少一個處理器:

    基于替換幀來生成(1601)多聲道音頻信號;以及

    向至少一個揚聲器輸出(1603)多聲道音頻信號以用于回放。

    30.根據實施例27-29中任一項所述的計算機程序產品,其中,獲得殘差信號頻譜包括從存儲設備取回殘差信號頻譜。

    31.根據實施例27-20中任一項所述的計算機程序產品,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    對殘差信號頻譜的峰值正弦分量進行相移(650,750,840,1301);以及

    調整(640,745,850,1303)已存儲殘差信號的殘差信號頻譜的非峰值正弦分量的噪聲頻譜的能量。

    32.根據實施例27-30中任一項所述的計算機程序產品,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測已存儲殘差信號的殘差信號頻譜(1401,1701)的峰值頻率;

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1403,1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1405,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1407,1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    33.根據實施例27-30中任一項所述的計算機程序產品,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測在已存儲殘差信號的殘差信號頻譜中是否存在峰值頻率(650,750,840,1701);

    響應于檢測到在殘差信號頻譜中沒有峰值頻率:

    使用去相關隱藏幀的譜系數來填充(1709)殘差信號隱藏頻譜的每個區,并調整區的能級以匹配殘差信號頻譜的噪聲頻譜的能級(xr,ecu(m,k)=gxd,ecu(m,k));

    響應于檢測到在殘差信號頻譜中有峰值頻率:

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    34.根據實施例32-33中任一項所述的計算機程序產品,其中,調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級包括以頻帶為基礎來匹配能級。

    35.根據實施例34所述的計算機程序產品,其中,頻帶b跨越(1501)區范圍kstart(b)…kend(b),并且匹配能級包括:

    計算(1503)能量匹配增益因子gb為

    以及用能量被調整的去相關殘差隱藏幀來填充(1505)剩余區,

    對于頻帶b,

    36.一種在包括處理器的解碼設備中對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似的方法,該方法包括由處理器執行的以下操作:

    生成下混合錯誤隱藏幀(610,720,820,1801);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1803);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(620,730,830,1805);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(810,1807);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(640-660,745-755,850-860,1809);

    獲得(1811)多聲道音頻替換參數集;

    執行(1813)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀、和來自先前接收的多聲道音頻信號幀的多聲道音頻參數的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀、和多聲道音頻時域參數;以及

    向參數多聲道音頻合成組件提供(1815)變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀和多聲道音頻時域參數,以生成合成多聲道音頻替換幀。

    37.根據實施例36所述的方法,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻替換參數集。

    38.根據實施例36-37中任一項所述的方法,還包括:

    基于合成多聲道音頻替換幀來生成(1601)多聲道音頻信號;以及

    向至少一個揚聲器輸出(1603)多聲道音頻信號以用于回放。

    39.根據實施例36-38中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    對殘差信號頻譜的峰值正弦分量進行相移(650,750,840,1301);以及

    調整已存儲殘差信號的殘差信號頻譜的非峰值正弦分量的噪聲頻譜的能量(640,745,850,1303)。

    40.根據實施例36-38中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測已存儲殘差信號的殘差信號頻譜的峰值頻率(1401,1701);

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1403,1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1405,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1407,1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    41.根據實施例36-38中任一項所述的方法,其中,生成能量被調整的去相關殘差信號隱藏幀包括:

    在分數頻率的尺度上檢測在已存儲殘差信號的殘差信號頻譜中是否存在峰值頻率(650,750,840,1701);

    響應于檢測到在殘差信號頻譜中沒有峰值頻率:

    使用去相關隱藏幀的譜系數來填充(1709)殘差信號隱藏頻譜的每個區,并調整區的能級以匹配殘差信號頻譜的噪聲頻譜的能級;

    響應于檢測到在殘差信號頻譜中有峰值頻率:

    將每個峰值頻率與表示該峰值頻率的多個峰值頻率區相關聯(1703);

    根據相位調整對多個峰值頻率區中的每一個應用相位調整(650,750,840,1705)以形成殘差信號隱藏頻譜;以及

    使用去相關隱藏幀的譜系數來填充殘差信號隱藏頻譜的剩余區(1707),并調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級。

    42.根據實施例40-41中任一項所述的方法,其中,調整剩余區的能級以匹配殘差信號頻譜的噪聲頻譜的能級包括通過以下操作來以頻帶為基礎匹配能級:

    指定(1501)頻帶b跨越區范圍kstart(b)…kend(b);

    計算(1503)能量匹配增益因子gb為

    以及用能量被調整的去相關殘差隱藏幀來填充(1507)剩余區,

    對于頻帶b,

    43.一種計算機程序產品,包括存儲計算機程序代碼的非暫時性計算機可讀介質,該計算機程序代碼在由至少一個處理器執行時使得至少一個處理器:

    生成下混合錯誤隱藏幀(1801);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1803);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(1805);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1807);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(1809);

    獲得多聲道音頻時域替換參數集;

    執行(1813)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀和能量被調整的去相關殘差隱藏時域幀;以及

    向參數多聲道音頻合成組件提供(1815)變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀和多聲道音頻時域替換參數,以生成合成多聲道音頻替換幀。

    44.根據實施例38所述的計算機程序產品,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻時域替換參數集。

    45.一種被配置為對所接收的多聲道音頻信號的丟失或損壞多聲道音頻幀進行近似的裝置,所述裝置包括:

    至少一個處理器(1101);

    與處理器通信耦合的存儲器(1103),所述存儲器包括可由處理器執行的指令,該指令使得處理器執行操作,該操作包括:

    生成下混合錯誤隱藏幀(1801);

    將下混合錯誤隱藏幀變換到頻域中以生成變換后下混合錯誤隱藏幀(1803);

    對變換后下混合隱藏幀去相關以生成去相關隱藏幀(1805);

    獲得先前接收的多聲道音頻信號幀的已存儲殘差信號的殘差信號頻譜(1807);

    使用殘差信號頻譜生成能量被調整的去相關殘差信號隱藏幀(1809);

    獲得(1811)多聲道音頻時域替換參數集;

    執行(1813)變換后下混合錯誤隱藏幀、能量被調整的去相關殘差隱藏幀的逆頻域變換,以生成變換后下混合錯誤隱藏時域幀和能量被調整的去相關殘差隱藏時域幀;以及

    向參數多聲道音頻合成組件提供(1815)變換后下混合錯誤隱藏時域幀、能量被調整的去相關殘差隱藏時域幀和多聲道音頻時域替換參數,以生成合成多聲道音頻替換幀。

    46.根據實施例39所述的裝置,其中,通過重復來自先前接收的多聲道音頻信號幀的參數來獲得多聲道音頻時域替換參數集。

    下面提供對上述公開的縮寫的說明。

    縮寫說明

    dft離散傅立葉變換

    lp線性預測

    plc分組丟失隱藏

    ecu錯誤隱藏單元

    fec幀糾錯/隱藏

    mdct修正離散余弦變換

    mdst修正離散正弦變換

    odft奇數離散傅立葉變換

    ltp長時預測器

    itd聲道間時間差

    ipd聲道間相位差

    ild聲道間電平差

    icc聲道間相干性

    fd頻域

    td時域

    flc幀丟失隱藏

    bfi壞幀指示符

    qmf正交鏡像濾波器組

    以下提供對上述公開中的參考文獻的引用。

    [1].c.faller,“parametricmultichannelaudiocoding:synthesisofcoherencecues(參數多聲道音頻編碼:相干信號的合成)”,ieee音頻、語音和語言處理期刊,第14卷,第一號,第299-310頁,2006年1月。

    [2].j.lecomte等,“packet-lossconcealmenttechnologyadvancesinevs(evs中的分組丟失隱藏技術進展)”,2015年ieee聲學、語音和信號處理國際會議(icassp),昆士蘭州布里斯班,2015年,第5708-5712頁。

    [3].s.bruhn、e.norvell、j.svedberg和s.sverrisson,“anovelsinusoidalapproachtoaudiosignalframelossconcealmentanditsapplicationinthenewevscodecstandard(一種新的音頻信號幀丟失隱藏的正弦方法及其在新evs編解碼器標準中的應用)”,2015年ieee國際聲學、語音和信號處理會議(icassp),昆士蘭州布里斯班,2015年,第5142-5146頁。

    [4].breebaart,j.、hotho,g.、koppens,j.、schuijers,e.,“background,concept,andarchitecturefortherecentmpegsurroundstandardonmultichannelaudiocompression(多聲道音頻壓縮的最新mpeg環繞標準的背景、概念和架構)”,j.audioeng,soc.,第55卷,第5號,2007年5月。

    下面討論進一步的定義和實施例。

    在本發明構思的各種實施例的以上描述中,應當理解,本文使用的術語僅用于描述特定實施例的目的,并不旨在限制本發明構思。除非另有定義,否則本文使用的所有術語(包括技術和科學術語)與本發明構思所屬領域的普通技術人員通常理解的含義相同。還應當理解,諸如在常用詞典中定義之類的術語應當被解釋為具有與它們在本說明書和相關領域的上下文中的含義一致的含義,并且不會被理想化或過度地解釋,除非在本文中明確定義。

    當元件被稱為與另一元件“連接”、“耦合”、“響應”或其變型時,它可以被直接連接到、耦合到、或響應于另一元件,或者可以存在中間元件。相反,當元件被稱為與另一元件“直接連接”、“直接耦合”、“直接響應”或其變型時,不存在中間元件。相同的數字始終指代相同的元件。此外,這里使用的“耦合”、“連接”、“響應”或其變型可以包括無線耦合、連接或響應。如本文所使用的,單數形式“一”、“一個”和“該”旨在也包括復數形式,除非上下文另有明確指示。為了簡潔和/或清楚起見,可能不會詳細描述眾所周知的功能或構造。術語“和/或”包括一個或多個相關的所列項目的任何和所有組合。

    應當理解,盡管在本文中可能使用術語“第一”、“第二”、“第三”等來描述各種元件/操作,但是這些元件/操作不應受這些術語的限制。這些術語僅用于將一個元素/操作與另一個元素/操作區分開。因此,在不脫離本發明構思的教導的情況下,一些實施例中的第一元件/操作在其他實施例中可被稱為第二元件/操作。在整個說明書中,相同的附圖標記或相同的附圖標識表示相同或相似的元件。

    如本文中所使用的,術語“包含”、“包含有”、“包含了”、“包括”、“包括了”、“包括有”、“有”、“具有”、“擁有”或其變型是開放式的,并且包括一個或多個所陳述的特征、整數、元素、步驟、組件、或功能,但不排除存在或增加一個或多個其他特征、整數、元素、步驟、組件、功能或其群組。此外,如本文所使用的,源自拉丁語短語“exempligratia”的常用縮寫“e.g.(例如)”可被用于介紹或指定先前提及的項目的一個或多個一般示例,并且并不旨在限制這種項目。源自拉丁語短語“idest”的通用縮寫“i.e.(即)”可用于從更一般的敘述中指定特定項目。

    在本文中參考計算機實現的方法、裝置(系統和/或設備)和/或計算機程序產品的框圖和/或流程圖圖示來描述示例實施例。應當理解,框圖和/或流程圖圖示的方框以及框圖和/或流程圖圖示中方框的組合可以通過由一個或多個計算機電路執行的計算機程序指令來實現。這些計算機程序指令可以被提供給通用計算機電路、專用計算機電路的處理器電路和/或其他可編程數據處理電路以生產機器,以使得經由計算機的處理器和/或其他可編程數據處理裝置來執行的指令變換和控制晶體管、被存儲在存儲器位置中的值、和在此類電路系統中的其他硬件組件,以實現在框圖和/或一個或多個流程圖方框中指定的功能/動作,從而創建用于實現在框圖和/或(一個或多個)流程圖方框中指定的功能/動作的手段(功能性)和/或結構。

    這些計算機程序指令還可以被存儲在有形計算機可讀介質中,該有形計算機可讀介質可以指導計算機或其他可編程數據處理裝置以特定方式運行,以使得被存儲在計算機可讀介質中的指令產生制品,該制品包括實現在框圖和/或一個或多個流程圖方框中指定的功能/動作的指令。因此,本發明構思的實施例可以被體現在硬件和/或在諸如數字信號處理器之類的處理器上運行的軟件(包括固件、常駐軟件、微代碼等)中,它們可以被統稱為“電路系統”、“模塊”或其變型。

    還應當注意,在一些替代實現中,在框中標注的功能/動作可以不按照在流程圖中標注的順序發生。例如,取決于所涉及的功能/動作,被示為連續的兩個方框實際上可以基本上并行地執行,或者方框有時可以以相反的順序執行。此外,流程圖和/或框圖的給定方框的功能可以被分成多個方框,和/或流程圖和/或框圖的兩個或更多方框的功能可以至少部分地被集成。最后,在不脫離本發明構思的范圍的情況下,可以在所圖示的方框之間添加/插入其他方框,和/或可以省略方框/操作。此外,雖然一些圖包括在通信路徑上的箭頭以示出通信的主要方向,但是應當理解,通信可以在與所描繪箭頭相反的方向上發生。

    在實質上不脫離本發明構思的原理的情況下,可以對實施例進行各種變化和修改。所有這些變化和修改都旨在被包括在本發明構思的范圍內。因此,上述公開的主題被認為是說明性的而非限制性的,并且實施例的示例旨在覆蓋落入本發明構思的精神和范圍內的所有這種修改、增強和其他實施例。因此,在法律允許的最大范圍內,本發明構思的范圍將由包括實施例及其等同的示例的本公開最廣泛的可允許解釋來確定,并且不應受前述詳細描述的約束或限制。

    下面提供了附加說明。

    通常,在本文中使用的所有術語應根據其在相關技術領域中的普通含義來解釋,除非清楚地給出不同的含義和/或從其使用的上下文中暗示不同的含義。除非明確聲明,否則,對一/一個/該元件、裝置、組件、部件、步驟等的所有引用應公開解釋為是指該元件、裝置、組件、部件、步驟等的至少一個實例。本文公開的任何方法的步驟并不必需以公開的確切順序執行,除非一個步驟被明確描述為在另一個步驟之后或之前和/或其中暗示一個步驟必須在另一個步驟之后或之前。只要合適,本文公開的任何實施例的任何特征可以應用于任何其他實施例。同樣,任何實施例的任何優點可適用于任何其他實施例,反之亦然。所公開實施例的其他目的、特征和優點將從以下描述中顯而易見。

    本文公開的任何適當的步驟、方法、特征、功能或益處可以通過一個或多個虛擬裝置的一個或多個功能單元或模塊來執行。每個虛擬裝置可以包括多個這種功能單元。這些功能單元可以通過處理電路來實現,處理電路可以包括一個或多個微處理器或微控制器以及其他數字硬件,其他數字硬件可以包括數字信號處理器(dsp)、專用數字邏輯等。處理電路可以被配置為執行被存儲在存儲器中的程序代碼,存儲器可以包括一種或多種類型的存儲器,諸如只讀存儲器(rom)、隨機存取存儲器(ram)、高速緩存存儲器、閃存設備、光存儲設備等。被存儲在存儲器中的程序代碼包括用于執行一種或多種電信和/或數據通信協議的程序指令以及用于執行本文所述的一種或多種技術的指令。在一些實施方式中,處理電路可以用于使相應的功能單元執行根據本公開的一個或多個實施例的對應應功能。

    術語“單元”在電子、電氣設備和/或電子設備領域可以具有常規含義并且可以包括例如電氣和/或電子電路、設備、模塊、處理器、存儲器、邏輯固態和/或用于執行相應任務、程序、計算、輸出和/或顯示功能等的離散設備、計算機程序或指令等等,諸如在本文中所描述的。

    再多了解一些
    當前第1頁1 2 
    網友詢問留言 已有0條留言
    • 還沒有人留言評論。精彩留言會獲得點贊!
    1
    中文字幕一区在线观看视频_国产偷v国产偷v_西西人体44rt net毛最多_伊人久久大香线蕉综合网