语言风格转换方法及装置

摘要

本发明提供一种语言风格转换方法及装置，所述方法包括：对待处理文本进行分词处理，得到分词结果；将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。本发明实施例提供的语言风格转换方法及装置，通过对待处理文本首先基于词对齐模型得到词对齐序列，再将所述词对齐序列输入至语言风格转换模型得到目标文本，基于上述过程在满足对待处理文本进行快速语言风格转换的同时，确保了转换前后文本含义的一致性，实现了对于文本语言风格转换的高效准确处理。

说明书

技术领域

本发明涉及文本处理技术领域，尤其涉及一种语言风格转换方法及装置。

背景技术

随着人工智能技术的飞速发展，现有的人工智能模型已经能在一些任务中生成流畅的自然语言文本。但是，目前的模型普遍缺乏对语言风格的控制能力，这使得设计者难以实现人工智能的情绪化和拟人化，导致用户的满意度差，人机交流质量低。

为了解决上述问题，语言风格转换模型被提出。该类模型能够将输入的带有某种风格或不带风格的自然语言文本，转换成另一类风格的文本。其中，“风格”的定义较为宽泛，举例来说，文字中包含的情感是积极或消极、是书面语还是口语、或是否模仿了著名作家的写作风格，均可以认为是“风格”的一种。

现有技术中的语言风格转换模型取得了一定的效果，虽然能够将文本转换为指定风格，但在转换后的文本中可能丢失部分信息或增加无关信息，难以维持文本含义不变。

发明内容

本发明提供一种语言风格转换方法及装置，用以解决现有技术中语言风格转换前后文本含义容易发生改变的缺陷，实现在满足对待处理文本进行快速语言风格转换的同时，确保了转换前后文本含义的一致性。

本发明提供一种语言风格转换方法，包括：对待处理文本进行分词处理，得到分词结果；将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

根据本发明提供的一种语言风格转换方法，所述将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列，具体包括：将所述分词结果X＝[x

根据本发明提供的一种语言风格转换方法，所述对齐概率，表示为：当对齐方案为按顺序对齐，则

根据本发明提供的一种语言风格转换方法，所述将所述词对齐序列输入至所述语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本，具体包括：将所述词对齐序列输入所述语言风格转换模型后，经过编码得到特征向量序列，基于所述特征向量序列得到目标文本中的每个词基于词对齐序列X

P

其中，P

根据本发明提供的一种语言风格转换方法，所述方法还包括：

基于风格判别器训练得到所述语言风格转换模型；其中，所述风格判别器是基于与所述语言风格转换模型的对抗训练得到的；

或，基于单独训练的风格化语言模型训练得到所述语言风格转换模型。

根据本发明提供的一种语言风格转换方法，所述语言风格转换模型在训练时的损失函数为目标函数L

L

其中，

根据本发明提供的一种语言风格转换方法，对于基于所述风格判别器训练得到的所述语言风格转换模型，所述损失函数表示为：

L

对于基于所述单独训练的风格化语言模型训练得到的所述语言风格转换模型，所述损失函数表示为：

L

本发明还提供一种语言风格转换装置，包括：分词模块，用于对待处理文本进行分词处理，得到分词结果；对齐模块，用于将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；转换模块，用于将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语言风格转换方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述语言风格转换方法的步骤。

本发明提供的一种语言风格转换方法及装置，通过对待处理文本首先基于词对齐模型得到词对齐序列，再将所述词对齐序列输入至语言风格转换模型得到目标文本，在利用所述语言风格转换模型对待处理文本进行语言风格转换时，以每个词作为处理单位进行非自回归处理，基于以上过程减小了语言风格转换过程中每个词之间的相互干扰，有利于每个词转换过程的独立性，同时在一定程度上也提高了语言风格转换过程的处理效率，从而使得在满足对待处理文本进行快速语言风格转换的同时，确保了转换前后文本含义的一致性，实现了对于文本语言风格转换的高效准确处理。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的语言风格转换方法的流程示意图之一；

图2是本发明提供的语言风格转换方法的流程示意图之二；

图3是本发明提供的语言风格转换装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的语言风格转换方法的流程示意图之一，如图1所示，所述方法包括：

步骤S110，对待处理文本进行分词处理，得到分词结果；

步骤S120，将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；

步骤S130，将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

需要说明的是，在步骤S110中，将一句话作为待处理文本，然后将这一句话经过分词处理得到一个个的词，例如，转换前文本为“worst food and will never come back”，经过分词处理后得到“worst food and will never come back”，利用集合表示就是X＝[x

需要说明的是，在步骤S120中，将经过步骤S110处理得到的分词结果输入到词对齐模型，得到对应于所述分词结果的词对齐序列。结合上面这个例子，将得到的分词结果进行词对齐处理后，得到以下词对齐序列，具体为“worst[Mask]food and will come back”，其中[Mask]代表新插入的对齐词，该词语是待处理文本中所没有的。

需要说明的是，经词对齐得到词对齐序列后，可以采用非自回归的方式进行处理。在步骤S130中，将经过步骤S120处理得到的词对齐序列输入到语言风格转换模型，通过非自回归的处理方式得到具有目标语言风格的文本。结合上述例子，将得到的词对齐序列进行语言风格转换处理后，得到以下具有目标风格的文本，具体为“most delicious foodand will come back”。

具体来说，本发明提供的语言风格转换方法中的语言风格转换模型能够基于得到的词对齐序列，学习并控制风格转换时需要修改词的数量及类型，基于此提高了风格转换的信息保持能力。举例来说，若词对齐序列中的某个词不影响语言风格，则模型可以选择不修改该词，在相同位置生成同一单词；若词对齐序列的词可以影响语言风格，则所述语言风格转换模型即选择对该词进行修改，生成和该词相关但可以使文本体现不同风格的词语。

现有技术中，神经网络模型在对文本进行语言风格转换时，其处理方式为以句子整体为单位，然后经转换后得到一个对应的句子，无法得到细粒度地控制风格转换前后的词与词之间的关系，所以其信息保持能力比较差，容易出现无关信息添加或有效信息丢失的情况。

本发明提供的语言风格转换方法，通过对待处理文本首先基于词对齐模型得到词对齐序列，再将所述词对齐序列输入至语言风格转换模型得到目标文本，在利用所述语言风格转换模型对待处理文本进行语言风格转换时，以每个词作为处理单位进行非自回归处理，基于以上过程减小了语言风格转换过程中每个词之间的相互干扰，有利于每个词转换过程的独立性，同时在一定程度上也提高了语言风格转换过程的处理效率，从而使得在满足对待处理文本进行快速语言风格转换的同时，确保了转换前后文本含义的一致性，实现了对于文本语言风格转换的高效准确处理。

进一步地，在本发明中，所述将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列，具体包括：将所述分词结果X＝[x

需要说明的是，利用词对齐模型对分词结果进行处理来得到词对齐序列的过程中，词对齐序列中每个词的生成依据是词对齐方案，而词对齐方案是不唯一的，多个所述词对齐方案都有其对应出现概率，称之为对齐概率P

本发明提供的语言风格转换方法，通过基于待处理文本X和目标风格S

进一步地，在本发明中，所述对齐概率，表示为：当对齐方案为按顺序对齐，则

需要说明的是，在实际的词对齐处理过程中，不同的待处理文本对于词对齐方案的需求有所不同，对于大部分文本而言，采用单一对齐方案即可满足需求，该单一对齐方案即为按顺序对齐的方式，此时可以采用对齐概率为

需要说明的是，所述词对齐模型对于上述两种不同的词对齐概率获取方法没有自行选择的能力，具体选用哪种对齐概率获取方式需要在进行词对齐模型训练前根据待处理文本的特点进行人工预先设定。

本发明提供的语言风格转换方法，通过将对齐概率的获取方式进行了可选性处理，使得所述词对齐模型可以基于不同的对齐概率的获取方式对具体的待处理文本进行词对齐处理过程，有效提高了词对齐处理过程的针对性，从而得到最佳的词对齐处理结果。

进一步地，在本发明中，所述将所述词对齐序列输入至所述语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本，具体包括：将所述词对齐序列输入所述语言风格转换模型后，经过编码得到特征向量序列，基于所述特征向量序列得到目标文本中的每个词语基于词对齐序列X

需要说明的是，将词对齐序列

需要说明的是，由上述可知，对于每个特征向量生成对应目标词语的概率为P

本发明提供的语言风格转换方法，通过归一化函数softmax函数将每一个特征向量转化为概率P

进一步地，在本发明中，所述语言风格转换方法还包括：基于风格判别器训练得到所述语言风格转换模型；其中，所述风格判别器是基于与所述语言风格转换模型的对抗训练得到的；或，基于单独训练的风格化语言模型训练得到所述语言风格转换模型。

本发明提供的语言风格转换方法，通过提供两种不同的针对于语言风格转换模型的训练方式，具体为基于风格判别器训练得到所述语言风格转换模型或者基于单独训练的风格化语言模型训练得到所述语言风格转换模型，基于以上过程丰富了对于语言风格转换模型的训练方法，有利于按需选择由不同训练方式得到的语言风格转化模型，进而可以针对于具体的待处理文本实现最佳的语言风格转换效果。

进一步地，在本发明中，所述语言风格转换模型在训练时的损失函数为目标函数L

L

其中，

其中，

本发明提供的语言风格转换方法，通过将第一最优词对齐方案

进一步地，在本发明中，对于基于风格判别器训练得到所述语言风格转换模型，所述损失函数表示为：L

本发明提供的语言风格转换方法，通过不同的训练方式得到了语言风格转换模型对应的不同的损失函数，其共同特点在于目标函数L

基于以上所述可知，在对语言风格转换模型进行训练时，有两种不同的训练方式，下面就这两种训练方式展开详细陈述：

A.基于风格判别器训练得到语言风格转换模型

A.1模型结构

A.1.1嵌入层

词嵌入层：输入单个词语，输出256维向量。

目标风格嵌入层：输入目标风格类别，输出256维向量。

嵌入层由Encoder、Decoder共用。

A.1.2Encoder

Encoder由Transformer网络组成，有4个Transformer Layer，每个Layer中包含一个多头自注意力层和一个单隐层MLP，隐状态维数为256。多头自注意力层包含4个注意力头。

当对齐方案为按顺序对齐时，Encoder输入句子和目标风格，由嵌入层转换为N个256维向量(词嵌入和目标风格嵌入之和，N为句子长度)。之后Transformer网络将编码输入向量，并输出N个256维向量(代表输入文本的编码后特征)。

当对齐方案为使用神经网络预测时，Encoder还包含一个另外的Transformer网络用于预测对齐方案。该网络有1个Transformer Layer，每个Layer中一个多头自注意力层，一个指向Encoder输出的多头注意力层和一个单隐层MLP，隐状态维数为256。两种注意力层均包含4个注意力头。该Transformer网络采用了Pointer Network的预测形式，是一个自回归的生成器，每一步输入1个256维向量(上一步预测的词嵌入和目标风格嵌入之和)，输出1个指向的一个位置(或者指向空位置)。

A.1.3Decoder

Decoder包含一个Transformer网络，有4个Transformer Layer，每个Layer中一个多头自注意力层，一个指向Encoder输出的多头注意力层和一个单隐层MLP，隐状态维数为256。两种注意力层均包含4个注意力头。

Decoder还包含一个线性分类器，将256维向量转换为词语概率分布。Decoder输入对齐后的句子X

A.1.4风格判别器

风格判别器包含一个单独的256维词嵌入层。

风格判别器包含一个Transformer网络，有4个Transformer Layer，每个Layer中包含一个多头自注意力层和一个单隐层MLP，隐状态维数为256。多头自注意力层包含4个注意力头。风格判别器还包含一个线性分类器，可以将256维向量转换为风格类别的概率分布。

风格判别器输入句子，由嵌入层转换为N个256维向量，N为句子长度。Transformer网络将编码N个256维向量，输出N个256维向量(代表输入文本的编码后特征)。N个256维向量特征经过max pooling，再经过线性分类器，预测风格类别。若输入为X，其预测类别可表示为P

A.2模型训练方式

训练被分为若干次迭代，每次迭代包含10次风格判别器训练和5次风格转换模型训练。以下的参数更新均使用Adam优化器，学习率为1e-4，每次更新的样本数量为64。

A.2.1风格判别器的一次训练被定义如下：

从数据集中取样本X，其风格为S

将X，

A.2.2风格转换模型的一次训练被定义如下：

从数据中随机取样本X，其风格为S

注意这里X可取任意风格的数据，S

A.2.2.1获得L

当对齐方案为按顺序对齐时，由于

当对齐方案为使用神经网络预测时，

A.2.2.2获得L

当对齐方案为按顺序对齐时，由于

当对齐方案为按神经网络预测时，

A.2.2.3获得L

A.2.2.4获得最终损失函数L

L

A.3模型评价结果

以对齐方案为按顺序对齐时为例，模型在Yelp数据集上进行训练并测试，模型可将积极的文本转换为消极文本，或将消极文本转换为积极文本。与不使用本发明方法的类似模型做对比，语义保持能力大幅提升，同时，模型训练速度以及使用使用该模型进行语言风格转换时的速度均有明显提升。

B.基于训练好的风格化语言模型训练得到语言风格转换模型

B.1模型结构

B.1.1嵌入层

词嵌入层：输入单个词语，输出256维向量。

目标风格嵌入层：输入目标风格类别，输出256维向量。

嵌入层由Encoder、Decoder共用。

B.1.2Encoder

Encoder由Transformer网络组成，有4个Transformer Layer，每个Layer中包含一个多头自注意力层和一个单隐层MLP，隐状态维数为256。多头自注意力层包含4个注意力头。

当对齐方案为按顺序对齐时，Encoder输入句子和目标风格，由嵌入层转换为N个256维向量(词嵌入和目标风格嵌入之和，N为句子长度)。之后Transformer网络将编码输入向量，并输出N个256维向量(代表输入文本的编码后特征)。

当对齐方案为使用神经网络预测时，Encoder还包含一个另外的Transformer网络用于预测对齐方案。该网络有1个Transformer Layer，每个Layer中一个多头自注意力层，一个指向Encoder输出的多头注意力层和一个单隐层MLP，隐状态维数为256。两种注意力层均包含4个注意力头。该Transformer网络采用了Pointer Network的预测形式，是一个自回归的生成器，每一步输入1个256维向量(上一步预测的词嵌入和目标风格嵌入之和)，输出1个指向的一个位置(或者指向空位置)。

B.1.3Decoder

Decoder包含一个Transformer网络，有4个Transformer Layer，每个Layer中一个多头自注意力层，一个指向Encoder输出的多头注意力层和一个单隐层MLP，隐状态维数为256。两种注意力层均包含4个注意力头。

Decoder还包含一个线性分类器，将256维向量转换为词语概率分布。Decoder输入对齐后的句子X

B.1.4训练好的风格化语言模型

风格化语言模型包含一个单独的词嵌入层和目标风格嵌入层。其中，词嵌入层输入单个词语，输出256维向量；目标风格嵌入层输入目标风格类别，输出256维向量。

风格化语言模型包含一个LSTM网络，隐状态维数为512，为自回归的语言模型。其输入是256维向量，是词语嵌入和目标风格嵌入之和。其输出外接一个线性分类器，用于预测下一步的词语。该模型的生成概率可以定义为

B.2模型训练方式

模型首先会训练风格化语言模型，之后再训练风格转换模型。以下的参数更新均使用Adam优化器，学习率为1e-3，每次更新的样本数量为64。

B.2.1风格化语言模型的一次训练被定义如下：

从数据集中取样本X，其风格为S

将X，S

B.2.2风格转换模型的一次训练被定义如下：

从数据中随机取样本X，其风格为S

B.2.2.1获得L

当对齐方案为按顺序对齐时，由于

当对齐方案为使用神经网络预测时，

B.2.2.2获得L

当对齐方案为按顺序对齐时，由于

当对齐方案为按神经网络预测时，

B.2.2.3获得L

求

B.2.2.4获得最终损失函数L

L

B.3模型评价结果

以对齐方案为按神经网络预测时为例，模型在GYAFC数据集上进行训练并测试，模型可将书面语转换为口语，或将口语转换为书面语。与不使用本发明方法的类似模型做对比，转换的语义保持能力大幅提升，同时模型训练速度以及利用模型进行语言风格转换的速度均有明显提升。

在对词对齐模型和语言风格转换模型训练完成后，将基于待处理文本得到的分词结果依次输入至词对齐模型和语言风格转换模型，最终输出待处理文本对应的目标文本。图2是本发明提供的语言风格转换方法的流程示意图之二。如图2所示，语言风格转换方法的具体流程为：

对于输入样本X和目标风格S

当对齐方案为按顺序对齐时，将X和S

当对齐方案为按神经网络预测时，将X和S

图3是本发明提供的语言风格转换装置的结构示意图。如图3所示，所述装置包括分词模块310、对齐模块320及转换模块330，其中：

分词模块310，用于对待处理文本进行分词处理，得到分词结果；

对齐模块320，用于将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；

转换模块330，用于将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

本发明提供一种语言风格转换装置，通过对待处理文本首先基于词对齐模型得到词对齐序列，再将所述词对齐序列输入至语言风格转换模型得到目标文本，在利用所述语言风格转换模型对待处理文本进行语言风格转换时，以每个词作为处理单位进行非自回归处理，基于以上过程减小了语言风格转换过程中每个词之间的相互干扰，有利于每个词转换过程的独立性，同时在一定程度上也提高了语言风格转换过程的处理效率，从而使得在满足对待处理文本进行快速语言风格转换的同时，确保了转换前后文本含义的一致性，实现了对于文本语言风格转换的高效准确处理。

根据本发明提供的一种语言风格转换装置，所述对齐模块320具体用于将所述分词结果X＝[x

本发明提供一种语言风格转换装置，通过基于待处理文本X和目标风格S

根据本发明提供的一种语言风格转换装置，所述转换模块330具体用于将所述词对齐序列输入所述语言风格转换模型后，经过编码得到特征向量序列，基于所述特征向量序列得到目标文本中的每个词语基于词对齐序列X

本发明提供一种语言风格转换装置，通过归一化函数softmax函数将每一个特征向量转化为概率P

根据本发明提供的一种语言风格转换装置，所述语言风格转换装置还用于基于风格判别器训练得到所述语言风格转换模型；其中，所述风格判别器是基于与所述语言风格转换模型的对抗训练得到的；或，基于单独训练的风格化语言模型训练得到所述语言风格转换模型。

本发明提供一种语言风格转换装置，通过提供两种不同的针对于语言风格转换模型的训练方式，具体为基于风格判别器训练得到所述语言风格转换模型或者基于单独训练的风格化语言模型训练得到所述语言风格转换模型，基于以上过程丰富了对于语言风格转换模型的训练方法，有利于按需选择由不同训练方式得到的语言风格转化模型，进而可以针对于具体的待处理文本实现最佳的语言风格转换效果。

图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行一种语言风格转换方法，该方法包括：对待处理文本进行分词处理，得到分词结果；将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的语言风格转换方法，该方法包括：对待处理文本进行分词处理，得到分词结果；将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的语言风格转换方法，该方法包括：对待处理文本进行分词处理，得到分词结果；将所述分词结果输入至词对齐模型，得到所述待处理文本对应的词对齐序列；将所述词对齐序列输入至语言风格转换模型，通过非自回归的处理方式得到所述待处理文本对应的目标文本。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。