用于估计量化索引的概率分布的估计器

摘要

本发明涉及一种估计器，其用于估计从源编码器产生的量化索引的概率分布，所述源编码器将源信号编码为量化索引序列，其中所述源信号是由信号模型描述的，所述源编码器提供当前量化索引和当前辅助信息，所述估计器用于基于所述源编码器的配置和所述当前可用辅助信息和所述信号模型来获得辅助参数，所述估计器进一步用于基于与所述估计器的先前状态相关的概率密度函数、所述辅助参数、所述当前量化索引和所述当前辅助信息来自适应地更新量化索引的概率分布。

说明书

技术领域

本发明涉及数字信号处理的领域，尤其涉及信源编码。

背景技术

在现代编码系统中，源信号的值映射到称为量化值的值的较小集合。此编码可由如 图1所示的有损编码器执行。

有损编码系统包括：量化器101，其实施从输入信号的值到所谓的量化索引的映射； 无损编码器103，其执行量化索引到二进制码字（“码”）的转换，所述二进制码字将被 存储和/或发射以表示信号值；以及至少一个重构器105，其包括无损解码器和反量化器 （从经重构索引到信号重构的映射），提供信号重构。量化器101和重构器105在无损编 码器可实现的通常以位/样本为单位的速率与根据源及其重构而定义的失真之间进行折 中。无损编码器103旨在给定量化索引的情况下产生最短的码。

如T.M.Cover和J.A.Thomas所著的“信息元素理论”第2版（John Wiley&Sons 出版社，2006年）中描述，最小预期速率是正在编码的序列的每样本熵，其可通过熵编 码图来实现。广泛使用的熵编码方法包含如J.Ziv和A.Lempel在“顺序数据压缩的通 用算法”（IEEE信息理论学报，第23卷，第3期，第337-343页，1977）中描述的Lempel-Ziv 码，如D.A.Huffman在“最小冗余码的构造的方法”（IRE会刊，第40卷，第9期，第 1098-1101页，1952）中描述的Huffman码，和算术编码[P.G.Howard和J.S.Vitter的“用 于数据压缩的算术编码”，IEEE会刊，第82卷，第6期，第857-865页，1994]。J.Ziv 和A.Lempel在“顺序数据压缩的通用算法”（IEEE信息理论学报，第23卷，第3期， 第337-343页，1977）中描述的Lempel-Ziv码在序列是各态历经的且序列的长度接近无 穷大时实现最佳速率。其不需要任何统计模型或对输入的任何显式建模，从而使得其变 为通用的。

然而，由于最优性的较强条件和对模型的忽略，其通常在实践中带来比其它方法差 点性能，如G.R.Kuduvalli和R.M.Rangayyan在“用于高分辨率数字远程放射学的可 逆图像压缩技术的性能分析”（IEEE医疗成像学报，第11卷，第3期，第430-445页， 1992年）中和S.Dorward、D.Huang、S.A.Savari、G.Schuller和B.Yu在“音频信号的 低延迟感知无损编码”（2001DCC数据压缩会议期刊，2001年，第312-320页）中描述。

Huffman码使用概率模型，且对于短序列和/或非各态经历的序列来说性能可较好。 然而，其对整个序列进行一次性编码以接近最优性，因此带来较大的延迟和计算复杂性。 已知根据熵的链式法则，通过顺序编码样本可较有效地实现最优的码长度：

$H(Q_1,...,Q_N)=\underset{i=1}{\overset{N}{\Sigma }}H\left(Q_i\right|Q_1,...,Q_{i-1})---\left(1\right)$

这可通过熵编码器来实施，熵编码器促进了例如算术编码等分数码长度。顺序熵编 码的关键是在给定一个样本之前的所有样本的情况下获得该样本的条件概率分布。由于 条件概率取决于所有的过去样本，因此条件概率可能需要很大的计算量。为了解决此问 题，在维持顺序编码方式的同时，通常采用两种策略：预测性编码和马尔可夫假设。

预测性编码旨在通过预测来转变源，使得量化经转变的源将带来独立的索引。量化 索引的确切独立性仅可在特殊情形中实现，例如当预测是开环且源是高斯过程时，或者 当在闭环预测的情况下源和量化噪声都是高斯过程时，如R.Zamir、Y.Kochman和U. Erez在“通过预测实现高斯速率-失真函数”（IEEE信息理论学报，第54卷，第7期， 第3354-3364页，2008年）中描述。

应注意，虽然开环预测对量化索引的独立性具有较低要求，但其较不常用，因为其 在实际编码器中导致比闭环预测差的速率-失真折中，且经证明无法满足理论上的速率- 失真函数，如K.T.Kim和T.Berger在“发送革新过程的有损型式在QG速率-失真中是 次最优的”（2005ISIT信息理论国际论坛会议，2005，第209-213页）中描述。

用于计算量较少的熵编码的其它技术是采用量化索引的马尔可夫性，意味着样本的 条件概率仅取决于其先前的样本的子集。然而，量化索引的马尔可夫性是强假设。特定 来说，即使源是马尔可夫的，量化也可能损坏此性质。

然而，由于量化的非线性性质，常常难以估计量化索引的概率，尤其是捕捉和开发 量化索引之间的统计相依性。

在实践中，量化索引之间的统计相依性经常被忽视，或者执行零阶熵编码，这可导 致降级的编码性能。或者，可以考虑使用高阶熵编码，其能够捕捉量化索引之间的统计 相依性。然而，这可能带来较大的计算复杂性。

发明内容

本发明的目的是提供用于确定量化索引的概率分布的方案。

通过本发明的独立权利要求的特征来实现本发明的目的。说明书、附图和从属的权 利要求披露了进一步的实现方式。

本发明是基于以下发现：取代于假设量化索引的独立性或马尔可夫性，可在给定过 去量化索引（特定来说是所有量化索引，以及可确定的与源编码器相关的可用辅助信息 的情况下）的情况下，自适应地（尤其是回归地）更新量化索引的概率分布。因此，连 同熵编码器一起，当对长序列进行编码时可实现最优速率。此外，可对量化索引的概率 执行更新回归和顺序熵编码。对索引概率的更新回归是从源信号的线性随机系统模型推 导出的。

根据第一方面，本发明涉及一种估计器，其用于估计从源编码器产生的量化索引的 概率分布，所述源编码器将源信号编码为量化索引序列，所述源信号由信号模型描述， 所述源编码器提供当前量化索引和当前辅助信息，所述估计器用于基于所述源编码器的 配置和所述当前可用辅助信息和所述信号模型来获得辅助参数，所述估计器进一步用于 基于与所述估计器的先前状态相关的概率密度函数、所述辅助参数、所述当前量化索引 和所述当前辅助信息来自适应地更新量化索引的概率分布。

根据第一方面的第一可能实施方案形式，其中所述当前辅助信息用于指示所述源编 码器的当前配置，其中所述估计器具体用于根据所述信号模型推导出所述当前辅助参 数，其中，所述信号模型具体为所述源信号的线性随机信号模型。

根据第一方面的第二可能实施方案形式或根据第一方面的先前实施方案形式，所述 估计器具体用于根据所述信号模型和所述辅助信息来推导出所述当前辅助参数；其中， 所述信号模型具体为所述源信号的线性随机信号模型。

根据第一方面的第三可能实施方案形式或根据第一方面的前述实施方案形式中的 任一者，所述当前辅助信息用于指示所述源编码器的当前配置，其中所述估计器具体用 于根据所述信号模型来推导出所述当前辅助参数；其中，所述信号模型具体为所述源信 号的线性随机信号模型，且其中所述估计器进一步用于使用关于所述当前量化索引的信 息和所述源信号的所述模型的当前参数来更新所述概率密度函数。

根据第一方面的第四可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，所述估计器用于根据所述源信号的自回归滑动平均模型来推导出所述辅助参 数。

根据第一方面的第五可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，由所述源编码器提供的所述辅助信息包括由所述源编码器产生的抖动信号的实 现。

根据第一方面的第六可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，所述辅助信息用于指示在所述源编码器中执行的所述源信号的预测的结果。

根据第一方面的第七可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，所述辅助信息用于指示抖动信号的实现和在所述源编码器中执行的所述源信号 的闭环预测的结果。此辅助信息在下文中称为由源编码器提供的I型辅助信息，所述源 编码器在的配置中操作，其中包含抖动。

根据第一方面的第八可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，所述辅助信息用于指示在所述源编码器中执行的所述源信号的开环预测和所述 源信号的经延迟观测。此辅助信息在下文中称为由源编码器提供的II型辅助信息，所述 源编码器在的配置中操作。

II型辅助信息包含例如开环预测的结果。

根据第一方面的第九可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，与所述估计器的所述状态相关的所述概率函数是

$f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})\propto {\int }_{A}f\left({\xi }_{n-1}\right|q_1^{n-2},s_1^{n-1})f\left({\xi }_n\right|{\xi }_{n-1})p\left(q_{n-1}\right|{\xi }_{n-1},s_{n-1}){\mathrm{d\xi }}_{n-1},$

其中ξ_n是隐式状态（207）的第n实现，A表示字母表，其中隐式状态从该字母表中 取值，是含有n-1个先前索引的向量，且是含有n-1个先前的辅助信息实现的 向量，且是与所述估计器的先前状态相关的概率密度函数，f(_ξn|ξ_n-1)是 在给定先前隐式状态情况下当前隐式状态的条件概率密度函数，且p(q_n-1|ξ_n-1,s_n-1)是先 前量化索引q_n-1的概率，先前隐式状态是ξ_n-1且所述辅助信息的先前实现是s_n-1。

根据第一方面的第十可能实施方案形式或根据第一方面的先前实施方案形式中的 任一者，所述的估计器具体用于基于与所述估计器的状态相关的所述概率密度函数的更 新来自适应地更新量化索引的概率分布以根据下式来响应于当前辅助信息 s_n

$f\left({\xi }_n\right|q_1^{n-1},s_1^n)\propto f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})f\left(s_n\right|{\xi }_n,q_1^{n-1},s_1^{n-1}),$

其中是与所述估计器的先前状态相关的所述概率密度函数，且 是在当前状态ξ_n条件下所述当前辅助信息s_n的概率密度函数，所有先 前量化索引由向量表示，且所有先前辅助信息由表示，其中是 响应于所述当前辅助信息来计算，其中

量化索引的所述概率分布是根据下式来更新

$p\left(q_n\right|q_1^{n-1},s_1^n)={\int }_{A}p\left(q_n\right|{\xi }_n,s_n)f\left({\xi }_n\right|q_1^{n-1},s_1^n){\mathrm{d\xi }}_n,$

其中p(q_n|ξ_n,s_n)是在所述估计器的当前状态ξ_n和当前辅助信息s_n条件下量化索引的 概率分布q_n。

根据第一方面的第十一可能实施方案形式或根据第一方面的先前实施方案形式中 的任一者，所述估计器用于基于与所述估计器的状态相关的所述概率密度函数的以下估 计值来自适应地更新量化索引的所述概率分布：

$f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})\approx N({\xi }_n;{\mu }_n,{\Sigma }_n),$

其中在给定所有先前量化索引和辅助信息的所有先前实现的情况下，根据下式计 算平均值μ_n，所述平均值μ_n作为关于当前隐式状态Ξ_n（207）的预期

${\mu }_n=E\left\{{\Xi }_n\right|Q_1^{n-1},S_1^{n-1}\},$

且其中根据下式计算协方差矩阵

${\Sigma }_n=E\left\{({\Xi }_n-{\mu }_n){({\Xi }_n-{\mu }_n)}^T\right|Q_1^{n-1},S_1^{n-1}\},$

其中^T表示矩阵转置且E表示预期。

根据第二方面，本发明涉及一种编码设备，其用于对源信号进行编码，所述编码设 备包括：源编码器，用于将所述源信号编码为量化索引序列，所述源编码器进一步用 于提供当前量化索引和当前辅助信息；无损编码器，用于基于所述量化索引的概率分布 将所述量化索引编码为码字；以及第一方面或第一方面的实施方案形式中的任一者的估 计器，其用于估计量化索引的概率。

根据第三方面，本发明涉及一种解码设备，用于使用量化索引对由源编码器编码 的源信号进行解码，所述解码设备包括：第一方面或第一方面的实施方案形式中的任 一者的估计器，其用于估计量化索引的概率分布；以及解码器，其用于对量化索引序 列进行解码，且基于量化索引的概率来提供用于所述源信号的重构的当前量化索引。

根据第四方面，本发明涉及一种估计方法，其用于估计从源编码器产生的量化索引 的概率分布，所述源编码器将源信号编码为量化索引序列，所述源信号是由信号模型描 述的，所述源编码器提供当前量化索引和当前辅助信息，所述方法包括：基于所述源编 码器的配置、所述当前可用辅助信息和所述信号模型来获得辅助参数；以及基于与所述 估计器的先前状态相关的概率密度函数、所述辅助参数、所述当前量化索引和所述当前 辅助信息来自适应地更新量化索引的概率。

根据第五方面，本发明涉及一种编码方法，其用于对源信号进行编码，所述编码方 法包括：将所述源信号编码为量化索引序列且提供当前量化索引和当前辅助信息；基于 所述量化索引的概率分布将所述量化索引无损编码为码字；以及根据本发明第四方面的 用于估计量化的概率分布的方法来估计从源编码器产生的量化索引的概率分布。

根据第六方面，本发明涉及一种解码方法，其用于对源信号进行解码，所述解码方 法包括根据本发明第四方面的用于估计量化索引的概率分布的方法来估计从源编码器 产生的量化索引的概率分布；以及对量化索引序列进行解码，且基于量化索引的所述概 率分布对源信号的重构提供当前量化索引和当前辅助信息。

根据第七方面，本发明涉及一种计算机程序，其用于当在计算机上运行时执行本发 明第四方面到第六方面中的任一者的方法。

本发明可在数字电子电路中实施，或在计算机硬件、固件、软件中实施，或在其组 合中实施。

附图说明

关于图式描述另外实施例，其中：

图1展示根据实施方案形式的有损编码系统的框图，

图2展示根据实施方案形式的有损编码系统中的（随机）变量的图形模型，

图3展示根据实施方案形式的编码器的图，

图4展示根据实施方案形式的编码器的框图，

图5展示根据实施方案形式的PSD对比频率，

图6展示根据实施方案形式的速率（位/样本）对比以dB为单位的MSE，

图7展示根据实施方案形式的编码器及其等效物的框图，

图8展示根据实施方案形式的编码器的框图，

图9展示根据实施方案形式的速率（位/样本）对比以db为单位的MSE，

图10展示根据实施方案形式的有损编码系统的框图，

图11展示根据实施方案形式的编码方法的图，

图12展示根据实施方案形式的编码方法的图，

图13展示根据实施方案形式的编码器的框图，

图14展示根据实施方案形式的编码方法的图，

图15展示根据实施方案形式的编码方法的图，

图16展示信号编码器的框图，其包括源编码器块、码产生块和估计器。

具体实施方式

在下文中，将描述对有损编码系统的建模。所述模型避免了在文献中通常所见的不 必要的假设。这些假设的实例包含例如假设量化噪声独立于源、为白噪声和/或遵循正态 分布。

编码系统大体上逐个块地对源进行操作。将源的第n个块表示为X_n，且将X_n从其 中取值的字母表表示为x。假设可通过隐式马尔可夫模型（HMM）来描述源，如R.J. Elliott、J.B.Moore和Lakhadar在“隐式马尔可夫模型：估计和控制”（施普林格出版社， 1995）中描述。HMM隐式变量在时间n时的状态由Ξ_n表示。为了简明，将Ξ_n称为时间 n时的隐式状态。源块X_n是隐式状态Ξ_n的观测。

源的HMM的存在的假设是适度的。较大范围的信号，包含所有自回归滑动平均 （ARMA）过程，可与HMM相关联。稍后更详细描述ARMA过程。

在编码系统中，可在量化器、无损编码器和重构器之间共享共同信息。此信息称为 辅助信息，且在这里表示为S_n。辅助信息的实例包含自适应变换、对当前源块的预测、 抖动信号以及与源相关的信号。量化器常常在辅助信息的帮助下将源块映射到作为整数 的量化索引，且表示为函数Q_n=q(X_n|S_n)。无损编码器将量化索引和辅助信息映射到通 常为0-1序列的码。最终，重构器将所述码和辅助信息映射到源的重构。

将辅助信息限制为因果性的，意味着在给定当前和过去变量的情况下，其有条件地 独立于未来变量。特定来说，限定了当前辅助信息的条件概率分布由过去的辅助信息、 过去的量化索引和当前隐式状态决定。为了简单，大体上不允许任何源块和过去的隐式 状态作为当前辅助信息的直接原因。此简化并不显著影响一般性，因为通常可重新定义 隐式状态以满足此要求。注意到，辅助信息可能涉及相加传输，且下文中不考虑此传输。

有损编码系统中的变量的关系可由T.Koski和J.M.Noble的“贝叶斯网络介绍” （John Wiley&Sons出版社，2009）中描述的图型模型来描述。

图2展示多个状态201、203、205和207，其中为了清楚而省略了码和重构，因为 其是由量化索引和辅助信息决定。

在整个描述中，通过将随机向量序列表示为X₁，…,X_n。用以表示量 化索引的条件概率质量函数（p.m.f.），且在不引起混淆时简写为假设除了量 化索引外的所有随机变量都具有连续的字母表顺序，且将关于概率密度函数（p.d.f.）来 描述。然而，切换到离散字母表并不影响此编码系统的原理。以对于p.m.f表示为p(·)的 类似方式，通过f(·)表示p.d.f.。

由于链式结构，可回归地计算多种概率性质，如C.M.Bishop在“模式辨识和机器 学习”（施普林格出版社，2006）第13章中描述。问题是在给定过去的量化索引以 及当前和过去的辅助信息的情况下，量化索引Q_n的条件概率。为此，考虑隐式状态Ξ_n的条件概率分布的更新回归，基于此可容易获得Q_n的条件概率。

根据我们的模型，可验证在推导更新回归中将使用的以下条件独立性：

$Q_n\perp \{Q_1^{n-1},S_1^{n-1},{\Xi }_{n+1}\}\left|\right\{{\Xi }_n,S_n\}---\left(2\right)$

${\Xi }_n\perp \{Q_1^{n-1},S_1^{n-1}\}|{\Xi }_{n-1}---\left(3\right)$

$S_n\perp {\Xi }_{n-1}\{{\Xi }_n,Q_1^{n-1},S_1^{n-1}\}---\left(4\right)$

S_n⊥X_n|Ξ_n                            (5)

基于这些独立性，可导出在给定所有过去的量化索引和辅助信息的情况下，隐式状 态的条件概率分布的更新回归：

$f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})={\int }_{A}f({\xi }_n,{\xi }_{n-1}|q_1^{n-1},s_1^{n-1}){\mathrm{d\xi }}_{n-1}$

$={\int }_{A}f({\xi }_n,{\xi }_{n-1}|q_1^{n-2},s_1^{n-1})\frac{p\left(q_{n-1}\right|{\xi }_n,{\xi }_{n-1},q_1^{n-2},s_1^{n-1})}{p\left(q_{n-1}\right|q_1^{n-2},s_1^{n-1})}{\mathrm{d\xi }}_{n-1},---\left(6\right)$

$\propto {\int }_{A}f\left({\xi }_{n-1}\right|q_1^{n-2},s_1^{n-1})f\left({\xi }_n\right|{\xi }_{n-1})p\left(q_{n-1}\right|{\xi }_{n-1},s_{n-1})d{\xi }_{n-1}$

其中A表示字母表，其中隐式状态从该字母表中取值。随后并入当前的辅助信息， 可发现

$f\left({\xi }_n\right|q_1^{n-1},s_1^n)\propto f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})f\left(s_n\right|{\xi }_n,q_1^{n-1},s_1^{n-1})---\left(7\right)$

其中假设辅助信息的条件概率分布是已知函数。最终，可获得量化 索引的条件概率：

$p\left(q_n\right|q_1^{n-1},s_1^n)={\int }_{A}p\left(q_n\right|{\xi }_n,s_n)f\left({\xi }_n\right|q_1^{n-1},s_1^n)d{\xi }_n---\left(8\right)$

在（6）和（8）中，在给定隐式状态和辅助信息的情况下量化索引的概率分布是需 要的，并可如下计算

$p\left(q_n\right|{\xi }_n,s_n)={\int }_{X}p\left(q_n\right|x_n,s_n)f\left(x_n\right|{\xi }_n,s_n){\mathrm{dx}}_n$

$\left(9\right)$

$={\int }_{x:q\left(x\right|s_n)=q_n}f\left(x_n\right|{\xi }_n){\mathrm{dx}}_n$

估计器根据（6）和（7）迭代地更新隐式状态的条件概率分布，并使用（8）来获 得量化索引的条件概率以用于顺序熵编码。下文中，将展现连同算术编码一起，所述方 法确保了在编码N个样本时，预期速率在最优速率的2/N（位/样本）内。

具有因果性辅助信息的编码量化索引的最低预期速率由每样本因果性条件熵给出， 如G.Kramer在博士论文“用于具有反馈的通道的引导信息”（瑞士联邦理工学院，1998） 中描述：

$H_N\left(Q_1^N\right|\left|S_1^N\right)=N^{-1}\underset{i=1}{\overset{N}{\Sigma }}H\left(Q_i\right|Q_1^{i-1},S_1^i)---\left(10\right)$

算术编码确保了针对任一输入序列，码长度均在所建模概率的乘积的对数（以2为 基）的2个位内，如P.G.Howard和J.S.Vitter在“用于数据压缩的算术编码”（IEEE 会刊，第82卷，第6期，第857-865页，1994）中描述。

因为使用正确的概率模型，所以预期速率满足

$r\le N^{-1}{\int }_{S^N}\underset{q_1^N\in Z^N}{\Sigma }p\left(q_1^N\right|s_1^N)f\left(s_1^N\right)$

$\times (2+{\log }_2\underset{i=1}{\overset{N}{\Pi }}p\left(q_i\right|q_1^{i-1},s_1^i)){\mathrm{ds}}_1^N$$\left(11\right)$

$=N^{-1}(2+\underset{i=1}{\overset{N}{\Sigma }}H\left(Q_1^i\right|Q_1^{i-1},S_1^i)),$

$=H_N\left(Q_1^N\right|\left|S_1^N\right)+\frac{2}{N}$

其中S表示辅助信息从中取值的字母表。等式（11）证明估计器是渐近最优的。

确切的更新回归涉及在任意p.d.f.上的积分，且因此难以实施，尤其是当隐式状态具 有高维数时。解决方案是将条件概率分布参数化，并回归地更新参数。这 可能导致近似。在此描述内容中描述的近似符是多变量正态分布：

$f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})\approx N({\xi }_n;{\mu }_n,{\Sigma }_n),---\left(12\right)$

其参数是平均值μ_n和协方差矩阵Σ_n。

通过使用近似的概率密度，预期速率大于最优速率，且裕量可通过近似的概率密度 与真实概率密度的Kullback-Leibler（KL）分歧来测量。虽然关于的高斯 近似的KL分歧并不直接是整体编码器的速率损失，但假定使此KL分歧最小化是减少 最终损失的有效方法。对于高斯近似，实现最小KL分歧的参数是通过所谓的矩匹配来 获得，如C.M.Bishop在“模式辨识和机器学习”（施普林格出版社，2006）第10.7章 中描述，即：

${\mu }_n=E\left\{{\Xi }_n\right|Q_1^{n-1},S_1^{n-1}\}---\left(13\right)$

${\Sigma }_n=E\left\{({\Xi }_n-{\mu }_n){({\Xi }_n-{\mu }_n)}^T\right|Q_1^{n-1},S_1^{n-1}\}---\left(14\right)$

对于（6）以及（7）和（8）的高斯近似带来估计器的计算上可行的型式。

许多类型的源和辅助信息满足模型假设，且因此可得益于估计器。此处，考虑产生 源信号X_n的离散时间线性随机系统

Ξ_n=A_nΞ_n-1+B_nΦ_n                            (15)

X_n＝C_nΞ_n(_Xn∈R^d,Ξ_n∈R^M)

其中Φ_n是白噪声过程。矩阵A_n、B_n和C_n是模型参数，其假定为先验已知的。其可 根据系统的机制和/或通过系统识别技术来导出。表达式（15）产生HMM模型，其中Ξ_n是隐式状态。此HMM模型拥有两个特殊性质：1）隐式状态和观测之间的关系是线性 的，和2）没有从对应的隐式状态对观测引入随机性。这将减少估计器的实施方案复杂 性。尽管具有特殊性，但模型能够描述较大范围的信号，包含所有ARMA过程，如H. Akaike在“随机过程的马尔可夫表示及其对自回归滑动平均过程分析的应用”（统计数 理研究所记录，第26卷，第363-387页，1974）中描述。如此从ARMA过程构造线性 随机系统的方法例如H.Akaike在“随机过程的马尔可夫表示及其对自回归滑动平均过 程分析的应用”（统计数理研究所记录，第26卷，第363-387页，1974）中描述。通过 此描述提供特定构造，这将稍后在描述内容中更详细描述。所述方法允许源在任一维度 上作为过程的片段，因此适合于向量量化。

关于辅助信息，可考虑两种配置。在给定过去的量化索引和辅助信息的情况下，第 一类型的辅助信息独立于当前的隐式状态，即称为I型辅助信息。此 辅助信息的实例包含抖动和闭环预测。通过I型辅助信息，（7）可精简为

$f\left({\xi }_n\right|q_1^{n-1},s_1^n)=f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})---\left(16\right)$

对于第二类型的辅助信息，假设在此类别中，S_n与Ξ_n之间的关 系可具有各种形式，导致（7）的不同表达。此处，假设S_n是由Ξ_n线性确定，类似于X_n：

S_n=D_nΞ_n                                    (17)

牵涉到作为II型辅助信息满足（17）的辅助信息，其可表示广范围的辅助信息，例 如对源的开环预测和延迟观测。在II型辅助信息的存在下，满足

$f\left({\xi }_n\right|q_1^{n-1},s_1^n)\propto \left(\begin{array}{cc}f\left({\xi }_n\right|q_1^{n-1},s_1^{n-1})& D_n{\xi }_n=s_n\\ 0& D_n{\xi }_n\ne s_n\end{array}\right)---\left(18\right)$

当存在I型与II型辅助信息的组合时，可单独处理其中每一者。

下文中，考虑每一类型的辅助信息的近似更新回归。可见，当近似为 正态分布时，也是正态分布。对于I型辅助信息情况是这样，对于II型辅 助信息情况也是这样，在此情况下位于超平面上，即，的 D_nξ_n=s_n。下文中，如（12）中使用μ_n和Σ_n来表示的平均值和协方差矩 阵；另外，使用和来表示的平均值和协方差矩阵。

下文中，将描述I型辅助信息的更新回归。

现在通过I型辅助信息推导用于源的有损编码的估计器的工作，其是通过线性随机 系统产生。

容易可见，对于线性随机系统，高斯近似符的平均值的更新，即（13），变为

${\mu }_n={\int }_{R^M}E\left\{{\Xi }_n\right|{\Xi }_{n-1}={\xi }_{n-1}\}$

$\times T({\xi }_{n-1};{\tilde{\mu }}_{n-1},{\tilde{\Sigma }}_{n-1},{\Omega }_{n-1})d{\xi }_{n-1}---\left(19\right)$

$=A_n{\bar{\mu }}_{n-1}$

其中是截断正态分布的平均值，即，由以下区域截断：

Ω_n-1={ξ:q(C_n-1ξ｜s_n-1)=q_n-1,ξ∈R^M}                    (20)

T(x;μ，Σ,Ω)用以表示截断正态分布，其中N(x;μ，Σ,)是原始正态分布且Ω是截断区 域，即

$T(x;\mu ,\Sigma ,\Omega )=\left(\begin{array}{cc}\frac{N(x;\mu ,\Sigma )}{{\int }_{\Omega }N(\tau ;\mu ,\Sigma )\mathrm{d\tau }}& x\in \Omega \\ 0& x\notin \Omega \end{array}\right)---\left(21\right)$

类似地，协方差矩阵的更新，即（14），变为

${\Sigma }_n={\int }_{R^M}E\left\{({\Xi }_n-{\mu }_n){({\Xi }_n-{\mu }_n)}^T\right|{\Xi }_{n-1}={\xi }_{n-1}\}$

$\times T({\xi }_{n-1};{\tilde{\mu }}_{n-1},{\tilde{E}}_{n-1},{\Omega }_{n-1})d{\xi }_{n-1}---\left(22\right)$

$=B_n{B}_n^T+A_n{\bar{\Sigma }}_{n-1}{A}_n^T$

其中是截断正态分布的协方差矩阵。

对于I型辅助信息，由于（16），因此且其连同（19）和（22）一 起完成更新回归。最终，可计算量化索引的概率分布，即（8），其在线性随机系统的情 形下变为

$p\left(q_n\right|q_1^{n-1},s_1^n)={\int }_{x:q\left(x\right|s_n)=q_n}N(x_n;C_n{\tilde{\mu }}_n,C_n{\tilde{\Sigma }}_n{C}_n^T){\mathrm{dx}}_n---\left(23\right)$

可见，方法需要计算截断正态分布的平均值和方差。对于单变量截断正态分布，其 可在分析上来计算。在高维数的情况下，可对截断正态分布进行取样，如Y.Huang、T. Ghirmai和P.M.Djuric在“抑制Gibbs耦合器：完美取样算法及其对截断多变量高斯分 布的应用”（第11届IEEE信号处理工作统计信号处理会议，2001，第42-4页）中所描 述，且可估计平均值和协方差矩阵。然而，对高维数空间的取样造成显著的计算复杂性。

此处，将描述可减少针对估计器的计算的计算量的方法。由于C_n可能不具有全列秩， 因此仅在隐式状态的子空间上进行截断。识别此子空间可减少计算复杂性。执行对C_n的 单值分解（SVD）

$C_n=U_{C,n}\left(\begin{array}{cc}{\Lambda }_{C,n}& 0\end{array}\right)V_{C,n}^T---\left(24\right)$

且是新的隐式状态，借助此状态，通过对（15）中的矩阵执行相似性变换可 获得新的状态-空间表示，如P.Stoica和R.L.Moses在“频谱分析介绍”（Prentice Hall 出版社，1997，第3.8章）中所描述：

$A_n\leftarrow V_{C,n}^T{A}_n{V}_{C,n-1}$

$B_n\leftarrow V_{C,n}^T{B}_n---\left(25\right)$

C_n←[U_C,nΛ_C,n 0]

截断区域随即变为{λ:q(U_C,nλ|s_n)=q_n,λ∈R^d}×R^M-d。为了获得具有此种截断区域的 截断正态分布、即所谓的半截断正态分布的平均值和协方差矩阵，计算第一d个变量的 平均值和协方差矩阵，且可应用S.Kotz、N.Balakrishnan和N.L.Johnson在“连续多变 量分布：模型和应用第2版”（John Wiley&Sons出版社，2000，第1卷，第45.10章） 中描述的扩展技术。

下文中，将描述II型辅助信息的更新回归。

如所讨论，在II型辅助信息的存在下，必须额外注意的计算。具体来 说，可计算其平均值和协方差矩阵其在给定D_nξ_n=s_n的情况下等于N(ξ_n;μ_n,Σ_n)的 条件平均值和协方差矩阵。计算具有此类型条件的正态分布的条件平均值和协方差的方 法稍后在描述内容中更详细地提供（见附录B）。在获得和后，其余部分和更新回 归与（19）和（22）中相同，且以与（23）中相同的方式计算量化索引的概率分布。

在II型辅助信息的情况下也可使用增加计算I型辅助信息的截断正态分布的平均值 和协方差矩阵的效率的方法。除了对如（25）中的状态-空间表示的修改之外，辅助信息 （17）还需要以D_n来改变，从而变为

D_n←D_nV_C,n                                   (26)

现在，通过表I中的伪码来概述用于具有I型和II型辅助信息的线性随机系统的估 计器。

表I展示用于具有I型和II型辅助信息的组合的线性随机系统的估计器的实施形式。

表I

所述方法可应用于各种有损编码情形。此处，考虑用于高斯ARMA过程的速率-失 真最优有损编码方法。选择速率-失真最优编码器的原因在于这些编码器的性能是可分析 的，因此可判定估计器是否可促进这些编码器实现其理论性能。下文中考虑两个实施例。 在第一实施例中，仅使用I型辅助信息，且在第二实施例中，还包含II型辅助信息。

根据实施方案形式，考虑用预先滤波和后滤波熵编码抖动格型量化器（ECDQ）编 码高斯ARMA过程，如R.Zamir和M.Feder在“预先/后滤波抖动量化器的信息速率” （IEEE信息理论会刊，第42卷，第5期，第1340–1353页，1996）中所描述，其称为 编码器-I且在图3中进一步展示。首先通过预滤波器301处理源，其频率响应α(ω)满足

${\left|\alpha \left(\omega \right)\right|}^2=1-\frac{\min (P_X\left(\omega \right),\theta )}{P_X\left(\omega \right)}---\left(27\right)$

其中P_X(ω)表示源信号的功率谱密度（PSD），且θ表示ECDQ中使用的格的每维度 二阶矩，其也是ECDQ引起的量化噪声的幂。预滤波信号以d元块的形式进入ECDQ。 对于每一个块，产生抖动S_n并添加到输入块。从基本格单元上的均匀分布提取抖动，且 所述提取独立于输入和其它块的抖动。使用格型量化器303来产生量化索引Q_n，随后用 熵编码器305对其进行编码。当对无限长序列进行编码时，ECDQ的最小可实现速率（位 /样本）是在给定抖动的情况下量化索引的样本熵速率，即

$r_{\mathrm{opt}}=\frac{1}{d}{H}_{\infty }\left(Q\right|S)=\underset{N\to \infty }{\lim }\frac{1}{\mathrm{dN}}H\left(Q_1^N\right|S_1^N)---\left(28\right)$

估计器连同算术编码一起用作编码器-I中的熵编码器305，且预期近似达到最优速 率。对于源的重构，可使用格型解码器307，也称为重构器。随后，从经解码信号减去 抖动S_n。最终将所得信号馈送到后滤波器309中，其频率响应β(ω)是α(ω)的共轭。

为了比较，考虑用预滤波和后滤波ECDQ的差分脉冲编码调制（DPCM）系统，如 R.Zamir、Y.Kochman和U.Erez在“通过预测实现高斯速率-失真函数”（IEEE信息理 论会刊，第54卷，第7期，第3354-3364页，2008）中所描述，其称为编码器-II且在 图4中进一步展示。系统包括预滤波器401和ECDQ 403。在编码器-II中，使用最优线 性预测器405，其使预滤波的源与预测之间的MSE最小。由于预测的使用，通常假设预 测误差是白噪声过程。为了与此惯例一致，编码器-II中的熵编码器是通过算术编码来实 施，其是基于假设量化索引之间的独立性的概率模型。此熵编码称为独立编码。独立编 码导致在给定抖动的情况下等于量化索引的标量熵的速率。此外，存在后滤波器407。

编码器-I和II根据一些实施方案形式拥有以下特性：

在源与其重构之间的相同均方误差（MSE）下，在给定抖动的情况下量化索引的熵 速率对于编码器I和II是相同的。这意味着如果使用适当的熵编码器，那么编码器-I和 II产生相同的速率-失真性能。另外，两个编码器的最优速率是从源的速率-失真函数R(D) 到从其的偏移来界定，这是由于格的非最优形状：

$R\left(D\right)\le r_{\mathrm{opt}}^{I,\mathrm{II}}\left(D\right)\le R\left(D\right)+\frac{1}{2}\log 2\mathrm{\pi eG}---\left(29\right)$

其中G表示基本格单元的经正规化二阶矩，其在维数变为无穷大时对于某一个格近 似为1/2πe。因此编码-I和II都是渐近速率-MSE最优的。还注意到，对于小的D，最优 速率接近于上界，且对于大的D，其接近于下界。

在编码器-II中，ECDA由AWGN通道代替，其可随着格维数增加而渐近有效，给 定抖动情况下的量化索引的标量熵等于给定抖动情况下的量化索引的熵速率。这意味 着，如果编码器-I和II中的ECDQ使用无限维数的最优格，那么通过具有考虑量化索引 之间的相依性的适当熵编码器的编码器-I和具有假设索引之间的独立性的熵编码器的编 码器-II实现相同的速率-失真性能。然而，矛盾的是编码器-II并不促进高维数格的使用， 因为预测是在闭环中操作，且因此需要即时量化。

可见，独立编码可带来最优性的条件相当严格。然而，其经常没有充分发挥作用。 普遍的是在预测之后使用编码器，其假设从预测误差的量化得到的索引的独立性。由于 量化索引之间的相依性，具有独立编码的编码器-II无法实现

通过使用估计器，编码器-I可实现最优速率。然而，由于高斯近似（12），无法确 切地实现最优速率。还关注研究方法中的高斯近似的效率。注意到，在编码器-II中也使 用高斯近似，其假设预测误差遵循正态分布。事实上，预期高斯近似仅具有略微的影响， 因为在高速率下，当量化索引表示具有高准确性的源时，在给定的情况下 接近于Ξ_n的条件p.d.f.，其为高斯性的；且在低速率下，当量化索引未对 Ξ_n提供此信息时，接近于Ξ_n的边缘p.d.f.，其也是高斯性的。

预滤波器301和401以及后滤波器309和407由于形成共轭对而无法同时为因果的。 为了使系统可行，预滤波器301和401以及后滤波器309和407可为有限脉冲响应（FIR） 滤波器，且脉冲响应可为彼此的逆序序列。则存在从源的重构的恒定时间延迟，这可容 易补偿。

可修改ECDQ的标量量化器，这对于编码器-II是必要的且也使编码器-I成为实际 方案。源是高斯ARMA(16,16)过程，图5中展示其PSD。横坐标以弧度展示频率。纵坐 标以dB展示PSD。预滤波器和后滤波器的阶可限于32，这使ECDQ的输入成为 ARMA(16,48)过程，由此使用稍后描述的方法的单维型式获得线性随机系统。还注意到， 在下文中，在原理上具有无限阶的在编码器-II中的最优预测器限于32阶。

因此，图6描绘具有估计器的编码器-I的速率-MSE性能（参考标号601）、具有独 立编码的编码器-II的速率-MSE性能（参考标号603），以及编码器-I和II的最优速率的 上界（参考标号605）和下界（参考标号607）。横坐标以dB展示MSE。纵坐标以位/ 样本展示速率。可见，具有估计器的编码器-I比具有独立编码的编码器-II更有效。注意 到，也可在编码器-II中应用估计器，这可使其与编码器-I一样有效。然而，为了清楚， 在此配置中未考虑此情况。

根据结果发现，在编码器-I的速率-失真分布界限于最优性能应所在的区域中的意义 上是近似的，且遵循最优速率-失真特性的渐近行为，即，在低失真下接近于上界且在高 失真下接近于下界。

根据实施方案形式，考虑对具有辅助信息的高斯ARMA过程的编码，其为源的单 步延迟型式。由于过去的样本可用于当前样本的编码，因此容易可见，最优编码结构是 执行预测且对预测误差进行编码。不同于实施例I中的编码-II的预测，此情况下的最优 预测保证了预测误差之间的独立性。特定来说，最优预测误差是具有由Kolmogorov公 式给定的幂的高斯白噪声过程，如P.J.Brockwell和R.A.Davis在“时间数列：理论和 方法第2版”（斯普林格出版社，1991）中所描述：

${\sigma }_{\infty }^2=\exp \left(\frac{1}{2\pi }{\int }_{-\pi }^{\pi }\ln \left(P_X\left(\omega \right)\right)\mathrm{d\omega }\right)---\left(30\right)$

为了对预测误差进行编码，考虑预缩放和后缩放ECDQ，如R.Zamir和M.Feder 在“预先/后滤波抖动量化器的信息速率”（IEEE信息理论会刊，第42卷，第5期，第 1340-1353页，1996）中所描述，其渐近地达到速率-失真最优性。编码器称为编码器-III， 且在图7中展示为包括预测器701和ECDQ 703，其中

$\alpha =\sqrt{1-\frac{\theta }{{\sigma }_{\infty }^2}}---\left(31\right)$

估计器可用于编码器-III中的熵编码，其算法可精简为独立编码。下文中，考虑另 一编码方案，其避免了量化之前的预测，并应用估计器来直接捕捉从源的量化得到的索 引中的相依性。预测的避免在某些实际有损编码情形中是需要的，例如当对量化器存在 计算限制时，或当预测所基于的辅助信息不可用于量化器时。

为了获得替代方案，首先展示等效于图7中的编码器-III的编码器。取消与ECDQ 相同的量的减法和加法带来如图8中所示的编码器-IV，其在速率-MSE性能方面等效于 编码器-III。可见，编码器-IV在源的量化之前并不应用任何预测。因此，量化索引不是 独立的。估计器应用于编码器-IV且预期赋予编码器-IV与具有独立编码的编码器-III相 同的性能。编码器-IV具有两个辅助信息，一个是抖动，与编码器-I相同，另一个是延 迟源样本，其是II型辅助信息。

在图8中，展示具有延迟单元801、预测器803和ECDQ 805的系统。

为了预测速率-MSE性能，注意到编码器-III的最优可实现速率-失真性能因此还有 编码器-IV的最优可实现速率-失真性能满足以下条件，如R.Zamir和M.Feder在“预先 /后滤波抖动量化器的信息速率”（IEEE信息理论会刊，第42卷，第5期，第1340–1353 页，1996）中所描述：

$\frac{1}{2}\log \frac{{\sigma }_{\infty }^2}{D}\le r_{\mathrm{opt}}^{\mathrm{III},\mathrm{IV}}\left(D\right)\le \frac{1}{2}\log \frac{{\sigma }_{\infty }^2}{D}+\frac{1}{2}\log 2\mathrm{\pi eG}---\left(32\right)$

此处，针对ECDQ考虑标量量化器。使用与实施例I中相同的源。将共同对源和第 二辅助信息进行的建模应用于源ARMA模型，其中存在对状态的维数的修改，其在此 情况下应满足M≥max(L,K+2}。则源和第二辅助信息可分别写为

X_n=α[b₀ … b_K 0 …]_1×MΞ_n                          (33)

S_n=[0 b₀ … b_K 0 …]_1×MΞ_n                           (34)

图9中说明具有估计器的编码器-IV的速率-MSE行为、具有独立编码的编码器-III 的速率-MSE行为，以及最优速率的上界和下界。

在图9中，横坐标以dB展示MSE。纵坐标以位/样本展示速率。参考标号901描绘 具有估计器的编码器-IV的速率-MSE性能。参考标号903描绘具有独立编码的编码器-III 的速率-MSE性能。参考标号905描绘编码器-III和IV的最优速率的上界，且参考标号 907描绘编码器-III和IV的最优速率的下界。

可见，具有估计器的编码器-IV与编码器-III同样有效，而且其避免了针对解相关使 用预测。注意到，编码器-IV使用用于重构的预测来减少MSE。

具有每一样本的条件概率的适当模型的序列的顺序熵编码是实现最优速率的有效 方式。在有损编码系统中，此编码策略对于量化索引的无损编码是优选的。估计器用于 以顺序方式对索引进行熵编码的无损编码方法。估计器有效且准确地计算量化索引的条 件概率分布。另外，估计器是一般的，且可在较大范围的有损编码情形中使用。

下文中，将根据实施方案形式来描述用于ARMA过程的状态-空间表示的重构。

附录A

考虑一维ARMA(L,K)过程Y_n，其由以下滤波形式描述：

Y_n+a₁Y_n-1+…α_LY_n-L 

                          (35)

=b₀W_n+b₁W_n-1+…b_KW_n-K

其中W_n是具有单位功率的白噪声过程。在方法中，将线性随机系统中的隐式状态选 择到ARMA滤波的直接形式II实现中的单位延迟的存储器。首先，考虑单维情况。将 ARMA过程的样本取作观测，即X_n=Y_n，所需的延迟单元的数目M，也是隐式状态的维 数应大于或等于max{L,K+1}。（15）中的A_n、B_n和C_n可如下体现为时间不变矩阵：

$B_{1,M}={\left(\begin{array}{ccc}1& 0& ...\end{array}\right)}_{1\times M}^T---\left(37\right)$

C_1,M=[b₀ … b_K 0 …]_1×M                   (38)

可考虑高维数情形。为了使X_n由Y_n的d个连续样本组成，单位延迟的数目可增加到 M≥max{L,K+d}，且使（15）中的C_n为

由于X_n和X_n+1分开d个样本，因此需要每d个滤波操作更新隐式状态。直观的是展 示通过使（15）中的A_n和B_n如下来更新隐式状态

$A_{d,M}=A_{1,M}^d---\left(40\right)$

下文中，将根据实施方案形式来描述正态分布的条件平均值和协方差矩阵。

附录B

使T为具有正态分布N(t;μ_t,Σ_t,)的随机向量。希望在给定DT＝c的情况下计算T的条 件平均值和协方差矩阵。为此，对D进行SVD：

$D=U_D\left(\begin{array}{cc}{\Lambda }_D& 0\end{array}\right)V_D^T---\left(42\right)$

使容易可见，S正态分布N(s;μ_s,Σ_s)，其中且S,μ_s和Σ_s可分段为

$S=\left(\begin{array}{c}X\\ Y\end{array}\right)$${\mu }_S=\left(\begin{array}{c}{\mu }_x\\ {\mu }_y\end{array}\right),$${\Sigma }_s=\left(\begin{array}{cc}{\Sigma }_{\mathrm{xx}}& {\Sigma }_{\mathrm{xy}}\\ {\Sigma }_{\mathrm{xy}}^T& {\Sigma }_{\mathrm{yy}}\end{array}\right)$

条件，即DT=c，变为U_DΛ_DX=c，或等效为此处，假设D为满行秩。 已知给定S的平均值和协方差矩阵为

${\mu }_{s|x}=\left(\begin{array}{c}{\Lambda }_D^{-1}{U}_D^{T}c\\ {\mu }_y+{\Sigma }_{\mathrm{xy}}^T{\Sigma }_{\mathrm{xx}}^{-1}({\Lambda }_D^{-1}{U}_D^{T}c-{\mu }_x)\end{array}\right)---\left(43\right)$

${\Sigma }_{s|x}=\left(\begin{array}{cc}0& 0\\ 0& {\Sigma }_{\mathrm{yy}}-{\Sigma }_{\mathrm{xy}}^T{\Sigma }_{\mathrm{xx}}^{-1}{\Sigma }_{\mathrm{xy}}\end{array}\right)---\left(44\right)$

最终，给定DT=c情况下的T的条件平均值和协方差矩阵是μ_t｜Dt＝V_Dμ_s|x和 ${\Sigma }_{t|\mathrm{Dt}}=V_D{\Sigma }_{s|x}{V}_D^T.$

图10展示源编码器1001，其可为通用源编码器，例如变换编码器，预测性编码方 案（闭环预测或开环预测）。源编码器1001可包含量化器1003，例如格型量化器、抖动 量化器或统一标量量化器。

此外，提供码产生器1005，其执行例如码产生。码产生器1005可为算术编码器。 码产生器1005可使用量化索引的概率的估计来获得有效性能。

另外，提供估计器1007，其提供码产生器利用可用辅助信息对量化索引概率的估计， 所述可用辅助信息例如为预测结果、抖动实现或先前编码的信号。估计器1007用于估 计量化索引的概率分布。

此外，提供无损编码器1009。无损编码器1009包含估计器1007和码产生器1005， 其也可表示为码产生单元。

图11展示根据本发明的方法的又一实施例的图。在步骤1101中，获得量化索引和 辅助信息。在步骤1103中，获得线性随机系统的参数。在步骤1105中，执行根据上述 表I的回归。在步骤1107中，获得量化索引的概率分布。在步骤1108中，执行熵编码。

根据一些实施方案，在上述方法中可执行以下步骤：

通过使用涉及上述线性随机系统的量化方案的表示，使用具有上述近似的上述回归 来执行量化索引的概率分布的回归更新。

图12展示包括信号量化1201和码产生1203的编码方法的图。信号的源，例如音 频、图像、视频等，产生经受量化1201的样本的序列。对于量化1201，可使用促进可 变速率编码（VBR）的任何量化器，例如格型量化器、统一标量量化器、具有抖动的量 化器、预测性框架中的量化等。量化器1201将源样本映射到量化索引，且输出量化索 引序列，其必须转换为二进制码。存在已知的码产生方法，其在给定量化索引的概率或 概率分布的情况下将索引序列转换为位流。码产生1203输出位流。进而，提供用于索 引概率分布的估计以获得有效码产生的低复杂性方法。

图13展示编码器的框图，所述编码器包括：量化器1301，用于信号量化，例如格 型量化；无损编码器1303，例如算术编码器；以及概率估计器1305，其接收量化索引、 辅助信息，且将量化索引的概率分布提供到无损编码器1303。

关注的是通过促进解码操作的最短可能码字来表示量化索引。因此，可考虑可变位 速率（VBR）编码情形，其中码字长度取决于量化索引的概率，所述概率可基于量化索 引的概率分布来获得。举例来说，如果量化索引的某些值不太可能发生，那么较有效的 是对这些值指派较长的码字，并使用最短的码字用于较可能出现的索引值。如果可将索 引概率分布提供到无损编码器1303，那么可实施此编码策略。

图14展示编码方法的图，所述编码方法包括：获得当前量化索引1401，获得当前 辅助信息1403，辅助概率密度函数的参数描述1407，提供参数的系统识别1409，根据 等式（6）计算1407更新，根据等式（7）并入1411当前辅助信息，根据等式（8）获 得1413量化索引的条件概率分布，且产生1415码。所得的线性系统由参考标号1410 描绘。参考标号1417表示的是表示辅助信息的随机变量集合。参考标号1419表示在给 定先前隐式状态的情况下当前隐式状态的条件概率密度函数，参考标号1421表示在给 定过去隐式状态、过去辅助信息和过去量化索引的情况下当前辅助信息的条件概率密度 函数，且参考标号1423表示作为表I中的输入参数的系统参数。

图15展示编码方法的图，所述编码方法包括：使用包括促进辅助信息的编码算法 的源编码器和产生量化索引的量化器进行的源编码1501。所述方法进一步包括：确定 1503量化索引的当前值，以及确定1505当前辅助信息。所述方法进一步包括：获得1507 作为表I的输入的系统参数，和初始化，表I中的步骤1-2。所述方法进一步包括：针对 提供的样本和提供的辅助信息执行1507回归，表I中的步骤3；基于系统参数计算辅助 概率密度函数的参数，表I中的步骤4-9；在给定所有过去索引和所有辅助信息的情况 下获得1511索引的条件概率分布；在给定所有过去量化索引和所有过去辅助信息的情 况下码产生1512和计算1513隐式状态的条件概率分布，且随后并入当前辅助信息，表 I中的步骤11-12。

图16展示信号编码器的框图，其包括源编码器块1602、码产生块1604和量化索引 的概率分布的估计器1601。源编码器块1602对由信号模型1611描述的信号源1603产 生的源信号进行操作。源编码器块输出当前量化索引1610和当前辅助信息1609。向估 计器提供当前量化索引1610、当前辅助信息1609和信号模型1611。估计器1601包括 用以获得辅助参数的装置1606和用以对量化索引的概率执行自适应更新的装置1605。 对表示用以获得辅助参数的装置1606的块提供信号模型1611和当前辅助信息1609，且 其输出辅助参数1607。对表示用以对量化索引的概率执行自适应更新的装置1605的块 提供当前辅助信息1609、当前量化索引1610和辅助参数1607，且其将量化索引的概率 分布的估计1608提供到码产生块1604。