使用空间和时间积分产生视频的压缩测量的方法和装置

摘要

本发明涉及使用空时积分产生视频的压缩测量的装置（100）和方法。该装置（100）包括检测器（110），用于根据光学数据在时间周期上检测时间视频结构的亮度值。时间视频结构具有像素，其中像素具有水平维度和垂直维度，在时间周期上具有相应亮度值。该装置（100）还包括空时积分器单元（110），用于接收多个测量基。并且，空时积分器单元用于将每个测量基应用于时间视频结构，汇总时间周期上每个测量基的相应值以获取测量集。每个测量基的汇总值是测量集。

说明书

背景技术

照相机或摄像机在获取图像或视频数据时捕获大量数据。为了存储或 发送所捕获的数据，典型地在捕获视频后对该数据进行压缩。该压缩典型 地利用先验知识，例如N个像素可近似为小于N个像素的波长系数K的 稀疏线性组合。波长系数可由N个像素值计算，并连同它们的位置进行存 储或发送。稀疏信号的转换编码的标准过程是获取全部的N采样信号，计 算转换系数的全部集，定位K个最大的、重要的系数并丢弃许多小的系数， 并对最大系数的值和位置进行编码。当N大并且K小时，该过程是低效的。 然而，在CMOS或CCD检测技术是有限的情况下特别是在波长上，获取 大量的原始图像或视频数据（大的N）会是昂贵的。并且，压缩原始数据 有计算要求。

一个传统方式使用压缩成像以直接获取随机投影，而无需首先收集N 个像素。例如，传统方式将测量基应用到由光学透镜捕获的数据（例如， 在获得像素值之前）以获得代表编码数据的一系列测量。同样，传统方法 直接获取N像素图像的测量的简化集而不会首先获取N个像素值。然而， 该传统方式在捕获视频数据时有缺点。例如，传统方式仅使用图像快照执 行空间投影/积分而不需要时间积分。将视频数据定位到每个测量的不同二 维（2D）快照中。同样，该方法丢失快照之间的信息，或者必须获取大量 的数据以捕获快速动作。

发明内容

本发明涉及使用空时积分产生视频的压缩测量的装置和方法。

该装置包括检测器，用于根据光学数据在时间周期上检测时间视频结 构的亮度值。时间视频结构具有像素，其中像素具有水平维度和垂直维度， 在时间周期上具有相应亮度值。该装置还包括空时积分器单元，用于接收 多个测量基。每个测量基含有与在时间周期上具有相应指定值的时间视频 结构相同的水平和垂直维度。同时，空时积分器单元用于将每个测量基应 用于时间视频结构，汇总时间周期上每个测量基的结果值以获取测量集。 每个测量基的汇总值是测量集。

根据一个实施方式，空时积分器单元可包括多个乘法器，其中每个乘 法器用于将时间视频结构的检测亮度值与相应的测量基相乘。空时积分器 单元还包括多个积分器，其中每个积分器与相应乘法器连接，并在时间周 期上汇总相应积分器的输出。

根据另一实施方式，空时积分器单元可包括像素访问器，用于接收多 个测量基，根据测量基的指定值访问由检测器检测的亮度值，多个乘法器， 其中每个乘法器用于将时间视频结构的访问亮度值与相应测量基相乘；和 多个积分器，其中每个积分器与相应乘法器连接，并在时间周期上汇总相 应积分器的输出。

根据一个实施方式，每个测量基包括具有第一指定值的基元素，和在 时间周期内具有相同长度的多个非重叠时隙的时分元素，其中时隙具有第 二指示值。

根据一个实施方式，空时积分器单元包括用于基于第一指定值检测亮 度值的光子检测器，用于根据第二指定值选择检测亮度值中的至少一个的 复用器，和用于汇总时间周期上用于每个测量基的选择亮度值的多个积分 器。

根据另一实施方式，空时积分器单元包括用于根据第一和第二指定值 访问由检测器检测的亮度值的像素访问器，和用于汇总时间周期上用于每 个测量基的访问亮度值的多个积分器。

第一和第二指定值可以是0或1的二进制值。检测器例如可包括电荷 耦合设备（CCD）、互补金属氧化物半导体（CMOS）、或微镜。测量基 的集可使用随机变化的Walsh-Hadamard矩阵构建。指定值可以是0或1 的二进制值。

该方法可包括根据光学数据在时间周期上检测时间视频结构的亮度 值。时间视频结构具有像素，其中像素具有水平维度和垂直维度，在时间 周期上具有相应的亮度值。该方法包括接收多个测量基，其中每个测量基 含有与在时间周期上具有相应指定值的时间视频结构相同的水平和垂直维 度。该方法进一步包括将每个测量基应用于时间视频结构，汇总时间周期 上每个测量基的结果值以获取测量集。每个测量基的汇总值是测量集。

该方法可进一步包括将时间视频结构的检测亮度值与相应的测量基相 乘，并为每个测量基在时间周期上汇总相乘步骤的输出。

在另一实施方式中，该方法还包括根据测量基的指定值访问由检测器 检测的亮度值，将时间视频结构的访问亮度值与相应测量基相乘，为每个 测量基在时间周期上汇总相乘步骤的输出。

在一个实施方式中，每个测量基包括具有第一指定值的基元素，和在 时间周期内具有相同长度的多个非重叠时隙的时分元素，其中时隙具有第 二指示值。

该方法还包括基于第一指定值检测亮度值，根据第二指定值选择检测 亮度值中的至少一个，汇总时间周期上用于每个测量基的选择亮度值。

在另一实施方式中，该方法可包括根据第一和第二指定值访问由检测 器检测的亮度值，汇总时间周期上用于每个测量基的访问亮度值。第一和 第二指定值是0或1的二进制值。测量基的集可使用随机变化的 Walsh-Hadamard矩阵构建。

附图说明

从下面的详细描述和附图，可以更全面地理解示例性的实施方式，其 中相同的附图标记表示相同的元素，其中描述和附图仅用于解释，并不对 本发明进行限制，其中：

图1描述了根据本发明一个实施方式的包括空时积分器的装置；

图2描述了根据本发明一个实施方式的空时积分器；

图3描述了根据本发明另一实施方式的空时积分器；

图4描述了根据本发明一个实施方式的表示时分测量基的时序图；

图5描述了根据本发明另一实施方式的空时积分器；

图6描述了根据本发明另一实施方式的空时积分器。

具体实施方式

现在将参照附图更全面地描述本发明的各实施方式。附图中的相同元 素由相同的附图标记进行标记。

如在这里所使用的，单数形式“a”、“an”和“the”还意在包括复 数形式，除非在上下文中明确地进行指示。还可以进一步理解的是，这里 使用的术语“包含”、“由…组成”、“包括”和/或“含有”说明存在所 规定的特征、整数、步骤、操作、元素和/或元件，但是不排斥存在或增加 一个或多个其它特征、整数、步骤、操作、元素、元件和/或其组合。

现在参照附图描述本发明。在附图中示意性描述的各种结构、系统和 设备仅是为了解释，并不会使本发明中本领域技术人员公知的细节难以理 解。然而，所包括的附图描述和解释本发明示例性的实施方式。这里使用 的词和短语应当被理解和解释为具有与所属技术领域技术人员对这些词和 短语的理解一致的含义。对于术语或短语意在具有特定的含义，也就是， 不同于由本领域技术人员理解的含义，这样的特别定义会在说明书中明确 地给出，直接并明确地提供术语或短语的特别定义。

本发明的实施方式提供包括接收光学数据并产生测量集的空时积分器 的装置。

图1描述了根据本发明一个实施方式的包括空时积分器110的装置 100。装置100可以是能够获取视频数据的任何类型的设备，例如照相机、 照相系统、移动视频电话、个人计算机系统、智能电话或任何类型的计算 设备。装置100包括光学透镜105、空时积分器110和测量基存储器115。 装置100还可包括存储单元120和/或发射器125。此外，装置100还可包 括现有技术中公知的其它元件，例如快门。

光学透镜105可以是传播和折射用于捕获视频数据的光的具有轴向对 称的任何类型透镜。测量基存储器115存储应用于来自光学透镜105的光 学数据的测量矩阵。测量矩阵包括指定值的模式。并且，测量矩阵可由一 组测量基表示。术语测量基和测量矩阵可交换使用。测量矩阵的指定值的 模式可使用随机变化的Walsh-Hadamard矩阵构建。然而，本发明的实施 方式包括任何形式的测量矩阵。空时积分器110接收来自光学透镜105的 光学数据和来自测量基存储器115的测量基，并产生一组压缩测量。例如， 积分同时在空间和时间上执行。同样，利用空时积分捕获更多的视频信息。

空时积分器110将每个测量基应用于视频数据以测量视频数据。视频 数据可由任何类型的光源检测器检测，例如电荷耦合设备（CCD）、互补 金属氧化物半导体（CMOS）、或微镜。本发明的实施方式包括黑/白视频 数据和彩色视频数据。

所检测的视频数据包括在时间周期中（例如，0.1秒）的视频帧。视频 数据可由三维（3D）时间视频结构V(i,j,t)表示，其中i是帧的水平维度， 1<=i<=I，j是帧的垂直维度，1<=j<=J，t是时间维度，1<=t<=T。在特定 实施方式中，时间视频结构可包括640×480的6个帧，其中I=640，J=480， T=6。然而，本发明的实施方式包括I、J和T的任意值。时间视频结构可 与亮度V相关联。同样，所检测的视频结构可包括在时间周期T上具有相 应亮度值的水平维度i和垂直维度j的像素。

根据一个实施方式，一组测量基包括M个视频结构。例如，每个测量 基具有与上述的视频结构相同的视频结构(i,j,t)。一组测量基包括M个视频 结构(i,j,t)，其中M是测量基的数量。参数M还对应于测量的数量。例如， 一组测量基可表示为：

B_m(i,j,t)，m=1,2，…，M，1<=i<=I，1<=j<=J，1<=t<=T。

一组测量基B_m可随机产生，具有预先指定的值。换句话说，每个测 量基（1-M）具有在时间周期T上具有相应指定值的水平维度i和垂直维 度j。

空时积分器110接收一组测量基。并且，通过积分i、j和t的全部值 上的像素以产生一组测量值（例如，Y_m），其中测量值是表示时间视频结 构的编码数据，空时积分器将每个测量基（1-M）应用于时间视频结构的 检测亮度值。例如，在上述测量基中时间视频结构V(i,j,t)的测量值Y_m是：

$Y_m=\underset{i,}{\int }\underset{j,}{\int }\underset{t}{\int }V(i,j,t)B_m(i,j,t)$

积分在i、j和t的全部值上进行。同样，对于指定的测量基B_m，空时 积分器110计算时间视频结构的测量值Y_m。对于彩色视频数据，空时积分 器110在RGB彩色模式中计算每个颜色（红、绿、蓝）的测量值Y_m。

存储单元120可存储压缩测量值集。并且，测量基存储器115和存储 器120可以是一个存储单元，或如图1所示的分立存储单元。存储单元120 和测量基存储器115可以是能够存储信息的任何类型的设备，例如光盘、 只读存储器（ROM）、随机存取存储器（RAM）、硬盘驱动器、闪存、 或任何其它计算机存储单元。发射器125可从存储单元120和/或空时积分 器110接收压缩测量值。

发射器125可通过支持视频传输应用的网络发送压缩测量值。网络可 以是任何已知的传输（无线或有线）网络。例如，网络可以是包括无线网 络控制器（RNC）、基站（BS）、或需要将视频数据通过网络从一个设备 传输到另一个设备的任意其它公知元件的无线网络。网络的视频传输应用 部分可包括数字视频广播-手持型（DVB-H）、数字视频广播-为手持机提 供卫星服务（DVB-SH）、长期演进（LTE）或演进的多媒体广播和多播 服务（eMEMS）。一个设备可通过专用或共享的通信信道将视频信息发送 给另一设备。

图2描述了根据本发明一个实施方式的空时积分器110。空时积分器 110包括检测器和空时积分器单元。检测器包括电荷耦合设备（CCD）201。 空时积分单元包括多个乘法器202，多个积分器203和多个模数转换器 （ADC）204。CCD201与每个乘法器202连接。每个乘法器与相应的积 分器203连接，其中积分器203与相应的ADC204连接。

CCD201接收来自光学透镜105的光学数据，并在时间周期T上检测 时间视频结构V(i,j,t)的亮度值。时间视频结构V(i,j,t)具有像素，其中像素 具有水平维度i和垂直维度j以及在时间周期T上具有相应的亮度值。空 时积分器110通过串行方式从CCD201获取信息，其中将来自CCD201 的像素值的2维（2D）阵列安排为按顺序（例如，一次一个值）传递到每 个乘法器202上。每个乘法器202接收串行的时间视频结构V(i,j,t)，一次 一个像素，以及相应的测量基B(i,j,t)。

乘法器202的数量对应于测量基M的数量。例如，每个乘法器202接 收串行的时间视频结构V(i,j,t)和不同的测量基（B₁-B_m）。B_m(i,j,t)的每个 指定值可以是0或1的二进制数，或任何其它数。当B_m(i,j,t)的每个指定 值是二进制值时，每个分支上的乘法器202作为开/关的开关。时间视频结 构V(i,j,t)由测量B₁(i,j,t)-B_m(i,j,t)集中的每一个相乘，将来自每个乘法器 202的相应值在时间周期T上相加以产生测量集。每个测量基的相加结果 是测量集。换句话说，每个相应的积分器203在时间周期0-T上对来自相 应乘法器202的数值进行积分。每个ADC204将总计的值转换为数字信号， 其中数据信号是测量Y₁-Y_M集。测量Y₁-Y_M集是表示时间视频结构的编码 数据。

图3描述了根据本发明另一实施方式的空时积分器110。在该实施方 式中，检测器包括互补金属氧化物半导体（CMOS）301。空时积分器单元 包括像素访问器302，多个乘法器202，多个积分器204，和多个ADC204。 装置100在CMOS301上形成时间视频结构V(i,j,t)。例如，CMOS301接 收来自光学透镜105的光学数据，并在时间周期T上检测时间视频结构 V(i,j,t)的亮度值。如上所述，时间视频结构V(i,j,t)具有像素，其中像素具 有水平维度i和垂直维度j，以及在时间周期T上的相应亮度值。

像素访问器302根据测量基B_m(i,j,t)集访问CMOS301中的像素，只 要在每个测量基（B₁-B_m）中的指定值中的一个不是零。例如，B_m(i,j,t)的 每个指定值可以是0或1的二进制数，或任意其它数。当B_m(i,j,t)的每个指 定值是二进制数，如果B_m(i,j,t)的指定值不是零，像素访问器302访问位置 （i,j）上的像素值。如果B_m(i,j,t)的指定值是零，像素访问器302不访问位 置（i,j）上的像素值。根据所接收的测量基B_m(i,j,t)集，由像素访问器302 将来自CMOS301的检测像素值传递到M个乘法器202中的每一个。在 每个乘法器202上，检测的像素值由测量基B_m(i,j,t)的相应值相乘。然而， 当测量基B_m(i,j,t)集的指定值是二进制数，乘法器202用作通过设备。将通 过每个乘法器202的像素值在时间周期T上总计以产生测量集。每个测量 基的总计结果是测量集。由于ADC204以上述同样的方式操作，为了简洁 起见，省略了详细的讨论。

图4描述了根据本发明一个实施方式的描述时分测量基的时序图。

在该实施方式中，每个测量基包括具有第一指定值的基元素 （component），在时间周期内具有相同长度的多个非重叠时隙的时分元 素。时隙具有第二指定值。例如，如图4所示，将时间周期T的集分为多 个相同长度的非重叠时隙。从而，在每个时分元素S₁(t)-S_m(t)中，将至少部 分时隙随机指定为二进制值1。基元素P(i,j,t)的各指定值对于每个测量基 （1-M）是相同的。时隙中用于时分元素S_m(t)的指定值会根据每个测量基 （1-M）而改变。例如，测量基B_m(i,j,t)集由下式表示：

B_m(i,j,t)=P(i,j,t)S_m，m=1,2,…,M

M是测量基的数量。P(i,j,t)是三个变量的随机二进制函数，S_m(t)是用 于每个测量基的一个变量的二进制函数，在下面做进一步描述。

如图4所示，将时间间隔[0，T]分为相同长度的kM个非重叠时隙， 随机将k个时隙分配到m=1,2,…,M中的每一个。参数k可以是大于或 等于1的整数。D_m是与m相关联的k个时隙的集。在一个实施方式中， 在k个时隙D_m中S_m(t)是1，在D_m之外为零。

图5描述了根据本发明另一实施方式的空时积分器110。在该实施方 式中，检测器包括微镜501和光子检测器502。空时积分器单元包括复用 器503，多个积分器203和多个ADC204。在该实施方式中，将具有测量 基B_m(i,j,t)的第一指定值的基元素P(i,j,t)提供给微镜501。

基元素P(i,j,t)的每个指定值是0或1的二进制值。用于基元素P(i,j,t) 的值1指示微镜501在位置（i,j）上在时间t转换角度，从而将来自光学 透镜105的光学数据送往光子检测器502。基元素P(i,j,t)的0值指示微镜 501在位置（i,j）上在时间t转换角度，从而不将来自光学透镜105的光 送往光子检测器502。同样，光子检测器502检测时间视频结构V(i,j,t)的 亮度值，如测量基B_m(i,j,t)的基元素P(i,j,t)的第一指定值指示。换句话说， 利用相应的等于1的基元素P(i,j,t)，光子检测器502检测从这些微镜反射 的组合光源的光强。那些具有相应基元素P(i,j,t)等于0的微镜使光线远离 光子检测器502。来自光子检测器的结果表示来自具有相应测量基P(i,j,t) 的对象的光的空间积分。

根据测量基B_m(i,j,t)的时分元素S_m(t)的第二指定值，复用器503选择 通过光子检测器502接收的亮度值。时分元素S_m(t)的每个第二指定值包括 0或1的二进制数。当在时刻t时分元素S_m(t)=1，复用器503将来自光子 检测器502的值转送给积分器203-m。例如，在时刻t，如果时分元素S₁(t)=1， 则将来自光子检测器502的值转送给积分器203-1。另一方面，如果时分元 素S₂(t)=1，则将来自光子检测器502的值转送给积分器203-2。由于时分 元素S_m(t)通过使用非交叉时隙构建，在每个指定的时刻，仅将来自光子检 测器的值转送给积分器203中的一个。

积分器203汇总时间周期T上每个测量基的可访问的亮度值以产生测 量集。由于ADC204以上述相同的方式操作，为了简洁起见省略了详细描 述。

图6描述了根据本发明另一实施方式的空时积分器110。图6与本发 明图3相似，除了像素访问器302根据图4的时分测量基访问CMOS301 的像素值之外。由于基元素P(i,j,t)和时分元素S_m(t)具有0或1的二进制数 值，因此省略了乘法器202。当在时刻t测量基P(i,j,t)S_m(t)=1，像素访问 器302将来自CMOS301的位置（i,j）的像素值转送给积分器203-m。例 如，在时刻t，如果P(1,2,t)S₁(t)=1，则将来自CMOS301的位置（1,2） 的像素值转送给积分器203-1。另一方面，如果P(3,2,t)S₂(t)=1，则将来自 CMOS301的位置（3,2）的像素值转送给积分器203-2。由于S_m(t)通过使 用非交叉时隙构建，在每个指定时隙，仅将来自任意CMOS位置的像素值 转送给积分器203中的一个。由于积分器203和ADC204以上述相同的方 式工作，因此为了简明起见省略了详细描述。

不应将本发明的各示例性实施方式视为偏离本发明示例性实施方式的 精神和范围，在本发明的范围内，应当包括对本领域技术人员来说是显而 易见的的全部各种变形。