增强数字音乐表现力的装置和方法

摘要

本发明披露一种装置和方法，通过使用电容传感器直接捕获手指的动态运动来创作增强表现力的数字音乐，当手指接近但未触及、触摸以及离开琴键或琴键之间的区域时，电容传感器连续不断地生成电容变化的模拟输出。

说明书

技术领域

本发明涉及数字乐器。更具体地说，本发明涉及一种生成增强表现力的音乐的数字乐器。

背景技术

一个原声乐器生成的声音和音乐来源于乐器本身的材料、结构和工艺。就音乐术语中的织体、音色、断连和力度，或者从热爱音乐的人所欣赏的表现出的细微差别、复杂度、情感甚至灵感的角度而言，在一个经验丰富的演奏者手中，一件原声乐器可以创作高表现力的声音和音乐。

另一方面，一件数字乐器生成的声音和音乐是从声音和音乐的数字库中得到并合成的。尽管经过数十年的努力，数字乐器仍然不能保留原声乐器的大部分表现力。当然，数字乐器创作出的音乐可以用很多种音效增强。例如，MIDI数据可以被用于增加所演奏声音的数字音效，如混响、回声、延时和颤音。然而，每次一个音效被启动或停止时仍然需要按一个按钮。当专业人士可以即刻随意使用各种各样的技术来表达对音乐的诠释时，这些“音效”无法与专业人士用原声乐器创作出的表现力品质相媲美。比如，当电子钢琴以小提琴模式弹奏时，很难即刻随意进行揉弦或者滑音。

为了增强数字键盘乐器的表现力品质，一种方法是在每个琴键下面放置2、3个甚至多个传感器。通过复杂的方式捕获并修正击键的速度，进而产生包含击键速度和力度的琴键声音。大多数情况下速度与音符的强弱呈正比关系。这种方法对表现力的增强仍然从根本上受限于对每次击键动作采集到的数据点的数目。

通过使用不同种类的传感器，人们试图增加采集的数据点的数目。霍尔效应传感器、光电传感器、压电传感器以及压力传感器都被用来试图产生更连续的输出或模拟输出，以便更好地捕捉用户的单一击键力度。经过所有这些努力，手指触摸动作产生的琴键运动结果可以被更细致的捕获，但是手指自身的动态运动并没有被直接捕获。一个局限是目前还没有现有技术可以捕捉手指靠近琴键或离开琴键但实际并未接触琴键时手指的运动。另一个局限是目前还没有现有技术可以捕捉手指在触摸两个传感器物理边界之间的区域时手指的运动。大多数商业数字键盘都有演奏包括钢琴和弦乐器等多种乐器声音的功能，这些局限造成键盘作为键盘乐器演奏时音乐表现力的一定损失，以及作为弦乐器演奏时音乐表现力的严重损失。而且，这些局限不利于数字乐器变得比原声乐器更富表现力。

简单地说，对于原声乐器而言，通过触摸琴键或者琴弦生成音符与通过各种各样的技巧使音符富有表现力的完美融合是自然而然的。然而，这样的完美融合在数字乐器中还没有实现，障碍就在于现有技术无法直接捕捉手指运动的力度和复杂度。因此，有必要直接捕捉有经验的乐器演奏者触摸动作的独特力度，从而使数字乐器生成与原声乐器具有同样完美表现力的音乐。

发明内容

本发明披露了通过直接捕捉手指触摸运动的动态运动，进而创作增强表现力的数字音乐的装置和方法。

本发明的一个实施例公开了一个生成音乐的装置，该装置包括板、处理器、存储器和程序，其中，所述板包含一个琴键阵列，每个所述琴键与一个音符相关联，所述程序存储在存储器中、用来被处理器执行。该装置还包括用于记录音乐描述和重播音乐的第二存储器，以及将音乐描述转换为乐音的声音模块。

根据本发明的一个实施例，每个琴键表面的下面放置一个或多个电容传感器，其中每个电容传感器都用来连续不断地生成触摸动作产生的电容变化的模拟输出，而不是生成“开”和“关”的二元输出。因此，电容传感器能够检测的触摸动作包括，手指接近但尚未触及所述板，手指用强力或弱力触摸所述板上的一个琴键，手指触摸所述板上的琴键之间的区域，手指离开所述板，所有这些动作都超越了手指对琴键的简单接触。

根据本发明的一个实施例，一旦有一个或多个手指触摸所述板，电容传感器就检测到触摸动作并连续不断地产生电容变化的模拟输出。存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述。数字描述的参数包括手指与电容传感器间的距离、速度、加速度、减速度、力度和手指触摸的持续时间。该程序还可以确定音乐演奏动作，比如与触摸动作或一组触摸动作相对应的揉弦或滑音。该程序还应用一个或多个音乐演奏动作的近似算法，将触摸动作或一组触摸动作的数字描述转换为乐器数字接口（MIDI）格式的音乐描述。

根据本发明的一个实施例，一个或多个近似算法包括揉弦近似算法、滑音近似算法、击键近似算法、连奏近似算法、分弓近似算法、断奏近似算法、跳弓近似算法和泛音近似算法。

本发明完美融合了通过触摸琴键或者琴弦生成音符和通过各种各样的技巧使音符富有表现力，这种融合对原声乐器来说是自然而然的，使得数字乐器可以生成与原声乐器同样完美表现力的音乐。

附图说明

为了更好地说明本发明实施例的技术特征，本发明的各实施例将会结合附图进行简要描述。显而易见，附图是本发明的示例性实例，本领域普通技术人员在不违背本发明原理的情况下可以获得其他附图。

图1为说明用现有数字乐器很难演的奏弦乐器的某些运音法的示意图。

图2为根据本发明的一个实施例，说明自电容传感器阵列的示意图。

图3A-3D为本发明的一个实施例的示意图，说明为了实现特定音乐演奏技术，应用于本发明音乐装置的触摸动作。

图3A为本发明一个实施例的示意图，说明应用于本发明音乐装置的揉弦动作，该动作模拟弦乐器的揉弦动作。

图3B为本发明一个实施例的示意图，说明应用于本发明音乐装置的滑音动作，该动作模拟弦乐器的滑音动作。

图3C为本发明一个实施例的示意图，说明应用于本发明音乐装置的连奏动作，该动作模拟弦乐器的连奏动作。

图3D为本发明一个实施例的示意图，说明应用于本发明音乐装置的断奏动作，该动作模拟弦乐器的断奏动作。

图4为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3A所描述的揉弦动作。

图5为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3B所描述的滑音动作。

图6为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3D所描述的断奏动作。

图7为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的强劲快速击键动作，该动作模拟键盘乐器上强劲快速的击键动作。

图8为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的轻柔缓慢击键动作，该动作模拟键盘乐器上轻柔缓慢的击键动作。

图9为本发明一个实施例的用于生成增强表现力的音乐的装置的示意图。

图10为本发明一个实施例的生成增强表现力的音乐的方法流程示意图。

具体实施方式

虽然本发明将会用详尽的实施例描述，但本发明并不局限于这些实施例。本领域专业技术人员会认识到本发明的装置和方法可以有很多其他的应用。在本发明的精神和范畴内，本发明试图覆盖所有替代、修改和等同的内容，正如权利要求所定义的那样。

此外，在本发明的详细描述中对具体细节进行阐述，以便彻底理解本发明。然而对于本领域普通技术人员显而易见的是，本发明无须这些具体细节便可得到实践。例如，术语乐器数字接口（MIDI）在本发明中作为一个实例技术讨论，是为了简化；然而，为了本发明的目的，其他数字音乐技术和格式也可以被改变和采用，并且在本发明的范畴内。本发明的另一个例子是使用术语键盘作为本发明可用的乐器形式，但是，为了本发明的目的，其他乐器形式也可以被改变、采用或者创造，并且在本发明的范畴内。还有另一个例子是本发明中电容传感器技术的使用，然而，为了本发明的目的，其他传感器技术也可以被改变、采用或创造，并且在本发明的范畴内。

此外，在其他实例中，公知的方法、过程、部件和电路没有详细描述，以避免不必要地模糊对本发明的清晰理解。

通过参考附图，对于本领域技术人员来说，本发明可以得到更好的理解，它的许多目的和优点将变得明显。

图1为说明用现有数字乐器很难演奏的弦乐器的某些运音法的示意图。

如图1所示，以弦乐器的五种运音法为例，从左到右依次为，断音（101）、特断音（102）、顿音（103）、重音（104）和保持音（105）。所有的音乐发声技巧都很难由数字键盘乐器区分开来。

此外，其他表现特征，如揉弦、颤音、滑音和泛音都很难用数字乐器完美地演奏出来。在演奏中，这些技术可能需要弯音轮、延音踏板、调制轮的协助；或者，他们可能需要演奏者切换数字乐器的演奏模式。

图2为根据本发明的一个实施例，说明自电容传感器阵列的示意图。

如图2所示，电容传感器阵列201共包括32个自电容传感器202。每个自电容传感器202包括一个作为自电容传感器202的一个电极的金属方块203和一个作为终端用户的感知装置的LED灯205；LED灯205放置于空方格204的中心，空方格204位于金属方块203的中心。电容传感器阵列201还包括一个与所有32个传感器相连接的微处理器（未在图2中显示）。

一旦一个或多个自电容传感器202被放置于琴键表面的下面，每个电容传感器202都用来连续不断地生成对键盘的触摸动作所引起的电容变化的模拟输出，而不是生成“开”和“关”的二元输出。触摸动作可以是手指接近但未触及板，手指用强力或弱力触摸板上的一个琴键，手指触摸板上的琴键之间的区域，以及手指离开板。手指触摸板，可以是手指触摸琴键、手指触摸琴键周围区域或者是手指触摸两个或多个琴键之间的区域。

图3A-3D为根据本发明的一个实施例的示意图，说明为了实现特定音乐演奏技术的性能，应用于本发明中音乐装置的触摸动作。

如图3A-3D所示，板301上的琴键阵列中的三个琴键302、303和304被使用。中间琴键302是N键，与N键302相邻的琴键是左边的N-1键303和右边的N+1键304。N-1，N和N+1电容传感器分别放在N-1琴键303，N琴键302和N+1琴键304表面的下面。

图3A为本发明一个实施例的示意图，说明应用于本发明音乐装置的揉弦动作，该动作模拟弦乐器的揉弦动作。在本发明的这一实施例中，揉弦动作是将手指305放在N键302上，然后有节奏地将手指305左右移动，保持手指305既不离开板，也不完全到达N-1键303或N+1键304。换句话说，是一种很近似于原声弦乐器揉弦技术的手势。

图3B为本发明一个实施例的示意图，说明应用于本发明音乐装置的滑音动作，该动作模拟弦乐器的滑音动作。在本发明实施例中，滑音动作是将手指305放在N-1键303上，然后将手指305平稳地向右滑动，经过N键302到达N+1键304，保持手指305不离开板。换句话说，是一种很近似于原声弦乐器滑音技术的手势。

图3C为本发明一个实施例的示意图，说明应用于本发明音乐装置的连奏动作，该动作模拟弦乐器的连奏动作。在本发明实施例中，连奏动作是将手指305放在N-1键303上，然后平滑地将手指305移到N键302，再将手指305移到N+1键305上，同时从板上稍稍抬起手指305，以“低跳”方式在琴键之间移动。

图3D为本发明一个实施例的示意图，说明应用于本发明音乐装置的断奏动作，该动作模拟弦乐器的断奏动作。在本发明实施例中，断奏动作是快速、有力地将手指305靠近、触摸和离开N-1传感器303，然后手指305快速、有力地靠近、触摸和离开N传感器302，然后手指305快速、有力地靠近、触摸和离开N+1传感器304。每次触摸动作完成后，手指305彻底抬起离开板，以“高跳”方式在琴键之间移动。

图4为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3A所描述的揉弦动作。

这种运动模式是对弦乐器，如小提琴和中提琴，的揉弦动作的直接模拟，其特征通过图4所示的三个传感器的电容输出捕获。

N-1，N和N+1曲线分别代表N-1传感器、N传感器和N+1传感器的电容输出。x轴为时间，y轴为电容的模拟值。图3A描述的揉弦动作生成这样一种模式，N-1曲线达到小峰值，然后N曲线达到大峰值，然后N+1曲线达到小峰值，N曲线达到大峰值，N-1曲线达到小峰值，等等。

根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述，确定触摸动作的音乐演奏方式为弦乐器的揉弦动作，并应用揉弦近似算法将数字描述转换为乐器数字接口（MIDI）格式的揉弦动作的描述。

三条曲线的数字描述的特征包括电容的峰值，电容变化的速度、加速度和减速度，电容停留在峰值的持续期间以及完成一个变化周期的时间。揉弦动作由主音高、音量和揉弦的速度、深度和延迟描述。

从电容变化曲线的数字描述特征到MIDI格式的音乐描述的转换过程说明如下：

 ·音符的主音高是与N传感器相关的音高，该传感器在整个时间段生成了最大的电容输出值；

 ·音符的音量取决于N传感器的电容输出达到峰值的速度，还取决于N传感器电容输出的实际峰值；

 ·揉弦的速度取决于所有三条电容曲线的电容变化的每个周期的持续时间；

 ·揉弦的深度取决于N-1曲线和N+1曲线相对于N曲线的振幅；

 ·揉弦的延迟与这一特定运动模式的持续时间等长。

因此，在揉弦动作的情况下，有经验的乐器演奏者只是做在原声乐器上的动作，手指在琴键上的运动状态被直接捕获，完美的生成MIDI格式的音乐描述。

图5为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3B所描述的滑音动作。

这种运动模式是对弦乐器（如小提琴和中提琴）的滑音动作的直接模拟，其特征由图5所示的三个传感器的电容输出捕获。

与图4相似，N-1，N和N+1曲线分别代表N-1传感器，N传感器和N+1传感器的电容输出。x轴为时间，y轴为电容的模拟值。图3B说明的滑音动作生成这样一种模式，N-1曲线达到峰值，然后N曲线达到峰值而且N-1曲线仍然维持一个高值，然后N+1曲线达到峰值，此时N曲线仍维持一个高值。

根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为弦乐器的滑音动作，并应用滑音近似算法将数字描述转换为乐器数字接口（MIDI）格式的滑音动作的描述。

三条曲线的数字描述特征，以及从这些特征转换为MIDI格式的音乐描述的过程说明如下：

  ·滑音的开始音高是与N-1传感器相关联的音高；

  ·滑音的结束音高是与N+1传感器相关联的音高；

  ·在滑音中间的任意点，开始音高与结束音高之间的过渡音高是一个指定音高，基于在那一点两个相邻传感器的相对电容值的计算，根据一些数学算法得到。最简单的数学算法是根据这一点到N-1传感器和N传感器之间的物理距离，指定N-1到N传感器之间的某个点的过渡音高。物理距离可以通过测量随着手指从N-1传感器移动到N传感器同时还保持与板的接触，N-1传感器和N传感器所感应到的电容值得到，物理距离还可以通过构建产生的电容数据随着距离变化的校准曲线得到；

  ·滑音的音量取决于电容输出达到峰值的速度以及N-1、N和N+1每个曲线的实际峰值；

  ·滑音的速度取决于所有三个电容曲线的每个电容变化周期持续时间。

因此，对于滑音动作，有经验的乐器演奏者只是做在原声乐器上的动作，手指在琴键上的动态运动态被直接捕获，完美地生成MIDI格式的音乐描述。

更一般地，本发明的这个实施例，对于具有一组离散琴键以及相应的离散音高的数字键盘乐器，可使其像数字弦乐器一样被演奏，随着手指滑过琴键生成渐进的和连续的音高变化。

图6为本发明一个实施例的示意图，说明本发明音乐装置嵌入的三个电容传感器的模拟输出，该输出捕捉图3D所描述的断奏动作。

这种运动模式是对弦乐器，如小提琴和中提琴，的断奏动作的直接模拟，其特征由图6所示的三个传感器的电容输出捕获。

与图5相似，N-1，N和N+1曲线分别代表N-1传感器，N传感器和N+1传感器的电容输出。X轴为时间，y轴为电容的模拟值。

根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为弦乐器的断奏动作，并应用断奏近似算法将数字描述转换为乐器数字接口（MIDI）格式的断奏动作的描述。

三条曲线的数字描述特征及其向MIDI描述的相应转换过程是不言自明的。对断奏动作的数字描述，作为滑音动作数字描述的对照在此进行说明。

图7为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的强劲快速击键动作，该动作模拟键盘乐器上强劲快速的击键动作。

键盘乐器的强劲快速击键动作的特征由图7所示的传感器电容输出捕获。x轴为时间，y轴为电容的模拟值。

根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为键盘乐器的强劲快速击键动作，并应用击键近似算法将数字描述转换为乐器数字接口（MIDI）格式的强劲快速击键动作的描述。

曲线的数字描述特征和将这些特征转换为MIDI格式的音乐描述的过程说明如下：

 ·击键的音高是与传感器相关联的音高；

 ·击键的初始音量是由电容输出达到阈值的速度决定的；

 ·随着电容输出进一步增加，提高击键的音量，进一步生成一系列触摸以后的信息；

 ·随着电容输出停留在最大值一段时间，进一步生成维持信息；

 ·音量随着电容输出值降低而降低，而且当电容输出值低于阈值时音量为零。

因此，在强劲快速击键动作情况下，有经验的乐器演奏者只是做在原声乐器上、没有延音踏板的帮助下的动作，手指在琴键上的动态运动被直接捕获，完美的生成MIDI格式的音乐描述。

图8为本发明一个实施例的示意图，说明本发明音乐装置嵌入的单一电容传感器的模拟输出，该输出捕捉应用于本发明音乐装置的轻柔缓慢击键动作，该动作模拟键盘乐器上轻柔缓慢的击键动作。

键盘乐器的轻柔缓慢击键动作的特征由图8所示的传感器电容输出捕获。x轴为时间，y轴为电容的模拟值。

根据本发明的一个实施例，存储在存储器中并由处理器执行的程序，用来生成触摸动作的电容变化的数字描述、确定触摸动作的音乐演奏方式为键盘乐器的轻柔缓慢击键动作，并应用击键近似算法将数字描述转换为乐器数字接口（MIDI）格式的轻柔缓慢击键动作的描述。

曲线的数字描述特征和将这些特征转换为MIDI格式的音乐描述的过程说明如下：

  ·击键的音高是与传感器相关联的音高；

  ·击键的初始音量是由电容输出达到阈值的速度决定的；

  ·随着电容输出进一步增加，提高击键的音量，进一步生成一系列触摸以后的信息；

  ·随着电容输出停留在最大值一段时间，进一步生成维持信息；

  ·音量随着电容输出值降低而降低，而且当电容输出值低于阈值时音量为零。

应该指出的是，与图7相比，图8的电容输出曲线需要更长的时间才能上升到最大值，也需要更长的时间下降到基线值。图8中的电容输出曲线峰值比图7的曲线低。这些特征都与图8所描述的击键动作比图7所描述的击键动作更轻柔缓慢相符合。

以上图4到图8的描述说明本发明音乐演奏动作的多个实施例，如揉弦(图4)、滑音(图5)、断奏（图6）、强劲快速击键(图7)和轻柔缓慢击键（图8），这些动作由本发明的装置或方法捕获。在本发明的其他实施例中，音乐演奏动作，如连奏动作、分弓动作、跳弓动作和泛音动作，被捕获并转化成MIDI格式的音乐描述，相应的触摸动作基本上与演奏原声乐器时的手指动作相似。

根据本发明的一个实施例，电容传感器检测琴键上轻柔持久的手指动作，程序生成触摸动作的数字描述，确定触摸动作的音乐演奏动作是泛音动作，并通过将泛音近似算法应用于数字描述，将数字描述转换成泛音的描述，其中音符和作为泛音基础音的琴键相关联。

图9为本发明一个实施例的用于生成增强表现力的音乐的装置的示意图。

如图9所示，装置901包括一个拥有琴键阵列的键盘902，每个琴键都与一个音符相对应。装置901还包括两个分别带有加号和减号的按钮903和904，其功能为将整个键盘的音高升高或降低一个八度。键盘902的每个琴键表面下都放置一个或多个电容传感器，每个电容传感器都可以连续生成触摸动作产生的电容变化的模拟输出。装置901还包括乐器选择区905，以便于选择多种乐器进行模拟。装置901还包括和弦区906，以便于键盘生成以关联音符为基础音的和弦，而不是生成单一音符。装置901还包括节奏区907，以便于为生成的音乐设置节奏。

装置901还嵌入有处理器908、存储器909、声音模块910以及一对扬声器911。程序存储在存储器909中，由处理器908执行。电容传感器检测到一个或多个手指对板的触摸动作并在触摸动作的持续时间内生成电容变化的模拟输出，然后程序应用一个或多个近似算法于一个或多个手指触摸动作，生成触摸动作的数字描述，并将数字描述转换为乐器数字接口（MIDI）格式的音乐描述。声音模块910用于将MIDI格式的音乐描述转换为乐音。

根据本发明的一个实施例，一个或多个触摸动作的数字描述和衍生自数字描述的音乐描述存储在存储器909中，以便日后重播。

图10为本发明一个实施例的生成增强表现力的音乐的方法流程示意图。如图10所示，该方法包括以下的步骤：

在一块包括一个琴键阵列并且每个琴键与一个音符相关联的板上，

步骤1001：电容传感器检测一个触摸动作或一组触摸动作。电容变化由手指引起并被放置在每个琴键表面的下面的电容传感器所感知，一旦电容变化超过阈值，或者阈值的倍数，触摸动作就可以被检测到。

步骤1002：电容传感器连续不断地生成电容变化的模拟输出。只要电容变化超过阈值，电容传感器就能继续感知并输出电容变化的模拟值。

步骤1003：存储在存储器里并由处理器执行的程序将电容变化转化为音乐描述。程序存储在存储器里，由处理器执行，将一个或一组触摸动作的电容变化转化为乐器数字接口（MIDI）格式的音乐描述。

步骤1003A：生成一个触摸动作或一组触摸动作的电容变化的数字描述。程序生成一个或一组触摸动作的电容变化的数字描述，数字描述包括的参数从以下一组参数中选择：距离、速度、加速度、减速度、力度和持续时间；

步骤1003B：确定数字描述对应于特定音乐演奏动作。程序确定数字描述对应于特定音乐演奏动作，比如揉弦或滑音；

步骤1003C：程序应用与音乐演奏动作相关的近似算法并生成音乐描述。