语音转换

摘要： 近年来兴起的深度伪造技术能够高度逼真地模拟和伪造音视频内容,并得到了广泛的良性和恶意应用.针对深度伪造的生成和检测,国内外专家学者进行了深入研究,并提出了相应的生成和检测方案.对现有的基于深度学习的音视频深度伪造生成技术、检测技术、数据集以及未来研究方向进行了全面的概述和详细分析,这些工作将有助于相关人员对深度伪造的理解和对恶意深度伪造防御检测的研究.

摘要： 2019年9月16日,北京2022年冬奥会和冬残奥会(以下简称北京冬奥会)官方自动语音转换与翻译独家供应商发布会在北京冬奥组委园区举行。科大讯飞正式成为北京冬奥会官方自动语音转换与翻译独家供应商,开启了其打造"信息沟通无障碍的冬奥会"之路。

摘要： 提出一种基于i向量和变分自编码相对生成对抗网络的语音转换方法,实现了非平行文本条件下高质量的多对多语音转换.性能良好的语音转换系统,既要保持重构语音的自然度,又要兼顾转换语音的说话人个性特征是否准确.首先为了改善合成语音自然度,利用生成性能更好的相对生成对抗网络代替基于变分自编码生成对抗网络模型中的Wasserstein生成对抗网络,通过构造相对鉴别器的方式,使得鉴别器的输出依赖于真实样本和生成样本间的相对值,克服了Wasserstein生成对抗网络性能不稳定和收敛速度较慢等问题.进一步为了提升转换语音的说话人个性相似度,在解码阶段,引入含有丰富个性信息的i向量,以充分学习说话人的个性化特征.客观和主观实验表明,转换后的语音平均梅尔倒谱失真距离值较基准模型降低4.80%,平均意见得分值提升5.12%,ABX值提升8.60%,验证了该方法在语音自然度和个性相似度两个方面均有显著的提高,实现了高质量的语音转换.

摘要： 科技与艺术的碰撞,传媒与智能的交融,智能语音技术与新闻播报的结合是人类科学技术的一大进步。人工智能语音技术在新闻广播中的应用能够推动现代新闻广播艺术的发展,转变传统新闻播报的方式。智能语音播报技术是一种计算机语音处理技术,在经历了文字与语音转换过程之后,新闻播报可以实现智能化,在某种程度上来说,智能语音播报技术的应用促进了新闻播报方式的创新发展。

摘要： 目前最先进的语音合成和语音转换模型能够生成人耳无法区分的虚假语音,这对自动说话人验证(ASV)系统的安全构成巨大威胁。近年来,越来越多抗欺骗对策用于提高ASV系统的可靠性。然而,在实际使用中,在检测未知攻击时遇到困难,特别是,合成语音欺骗算法的快速发展正在产生越来越强大的未知攻击。在这项工作中,由于ResNeSt网络模型在图像分类和检测任务中取得较好的成绩,因此构建了残差卷积神经网络的变体ResNeSt,使用时域二维特征转换、频域特征等各种特征提取方法(MFCC、LFCC、CQCC)来检测未知的合成语音欺骗攻击。实验结果表明,ResNeSt系统在ASV的逻辑评估集上达到了6.04%的等错误率(EER),相比ASVspoof2019的基线模型提高了25%的性能。

摘要： 人工翻译的速度较慢,不能适应当前社会发展的需求,手语与英语间的互译难度更高。因此,该文设计了基于语音图像融合平台的英语与手语自动翻译系统。在系统的硬件设计方面,以STM32微控制器作为主控模块,实现英语与手语自动翻译系统的同步信息转换。在系统的软件设计方面,用CNN对特征图像进行模型训练和识别,采用语义单元的本体融合方法,自动提取系统内录入的英语和手语的语义语境,按照解码生成的顺序规整双向翻译。仿真试验表明,自动翻译系统的翻译准确率和召回率高,出现翻译错误的概率较低,具有较强的智能性。

摘要： 针对语音去噪问题,提出一种基于循环生成对抗网络(CycleGAN)的方法来对声音场景中的语音进行去噪.该方法把CycleGAN的网络模型与不同领域间的语音转换技术进行结合与优化,通过提取语音频谱包络特征,对语音进行编码与解码的处理,旨在用先进的生成技术实现语音端到端的去噪,从而简化语音去噪过程中带来的高阶差异问题,同时泛化其应用场景.通过对非平行数据集和平行数据集进行训练与测试,主要比较该方法与传统CycleGAN的语音去噪方法下的去噪效果,由实验结果得到PESQ、NR、SSNR这3项指标分别相对提高了8.49％、6.53％、23.30％,有效地解决了实际场景中的非平行语音去噪问题.

摘要： 文章重点研究了基于LPC模型的DTW语音转换方法.采用DTW技术进行模型特征参数对齐的优势是:经过数据对齐后,使得人工神经网络算法更好的训练特征参数,得到的映射规则能很好规范要转换的特征参数,使得语音转换质量更高.论文的仿真结果和数据分析表明,基于LPC模型的DTW语音转换系统转换出的语音自然度较高.该研究结论对于语音转换技术的研究与应用,具有参考价值.

摘要： 针对非平行文本条件下语音转换质量不理想、说话人个性相似度不高的问题,提出一种融合句嵌入的变分自编码辅助分类器生成对抗网络(VAACGAN)语音转换方法,在非平行文本条件下,有效实现了高质量的多对多语音转换.辅助分类器生成对抗网络的鉴别器中包含辅助解码器网络,能够在预测频谱特征真假的同时输出训练数据所属的说话人类别,使得生成对抗网络的训练更为稳定且加快其收敛速度.通过训练文本编码器获得句嵌入,将其作为一种语义内容约束融合到模型中,利用句嵌入包含的语义信息增强隐变量表征语音内容的能力,解决隐变量存在的过度正则化效应的问题,有效改善语音合成质量.实验结果表明:所提方法的转换语音平均MCD值较基准模型降低6.67％,平均MOS值提升8.33％,平均ABX值提升11.56％,证明该方法在语音音质和说话人个性相似度方面均有显著提升,实现了高质量的语音转换.

摘要： 基于矢量量化变分自编码器(Vector Quantized Variational Autoencoder,VQVAE)的语音转换系统是国内外语音转换领域研究的一大热点,但是其较差的转换音质限制了模型的应用.本文在VQVAE的基础上提出一种改进的矢量量化正则变分自编码器(Vector Quantization Regularized Variational Autoencoder,VQ-REG-VAE).在训练时,矢量量化退化为正则化项,通过矢量量化的正则约束让编码器学习生成说话人无关的语义特征,同时让解码器学习将说话人特征融合到语义特征中.在转换时,可以去掉矢量量化这一正则化项,通过编码器和解码器就能实现语音转换.由于转换时没有进行矢量量化,语义特征信息得以更好保留.客观和主观实验都表明:基于VQ-REG-VAE模型的转换语音在不降低相似度的前提下,音质比VQVAE模型有显著的提升.

摘要： 针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法.首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征.其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签.同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统.最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音.客观评测表明,静态手势的识别率为92.8％,在扩充的Cohn-Kanade数据库和日本女性面部表情(Japanese Female Facial Expression,JAFFE)数据库上的人脸表情识别率为94.6％及80.3％.主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感.

摘要： 人发出的声音通常包含三种信息:内容、音色和韵律.在声学特征层面,音色通常是通过谱包络来表征,韵律特征通常包括基频,能量和时长.通常,语音转换系统的目标即:不改变语音内容的前提下,改变源说话人的音色或者韵律,使之听起来像是目标说话人发出的声音.语音转换系统的应用场景很多,包括TTS语料库构造、协助发音、说话人转换、口音转换、情感转换、歌唱转换、窄宽带转换等等.

摘要： 针对非对称语料库情况下的语音转换,本文提出了一种基于混合高斯归一化的语音转换方法.首先,通过背景说话人模型,分别自适应训练得到源说话人和目标说话人模型.然后,利用训练得到的模型自适应参数,提出了基于高斯归一化的特征映射方法,为了进一步提高转换效果,进而提出了混合高斯归一化的方法.同时,针对说话人模型中未被更新的参数,采用KL散度(Kullback-Leibler divergence)方法进行了优化.最后,通过主客观实验对提出的算法的有效性进行了仿真和验证.实验结果表明,本文提出的基于混合高斯归一化的语音转换方法,无论是倒谱失真度、还是转换语音的目标倾向度以及感知质量,都在很大程度上获得了接近基于对称语音库的传统高斯混合模型(Gaussian mixture model,GMM)方法的效果.

摘要： 针对非对称语音库情况下的语音转换,提出了一种有效的基于模型自适应的语音转换方法.首先,通过最大后验概率(Maximum A Posteriori,MAP)方法从背景模型分别自适应训练得到源说话人和目标说话人的模型;然后,通过说话人模型中的均值向量训练得到频谱特征的转换函数;并进一步与传统的INCA转换方法相结合,提出了基于模型自适应的INCA语音转换方法,有效实现了源说话人频谱特征向目标说话人频谱特征的转换.通过客观测试和主观测听实验对提出的方法进行评价,实验结果表明,与INCA语音转换方法相比,本文提出的方法可以取得更低的倒谱失真、更高的语音感知质量和目标倾向度;同时更接近传统基于对称语音库的高斯混合模型(Gaussian Mixture Model,GMM)的语音转换方法的效果.

摘要： 本文提出了一种基于GMM的说话人独立建模语音转换算法，该方法不仅避免了传统GMM建模需要并行语料的限制，而且降低了系统复杂度，在多人转换中优势尤为突出。另外，本系统在转换过程中采用动态转换规则，由模型根据输入特征实时调整转换规则，在理论上较传统转换系统固定规则的转换更为精细。通过系统实验，取得了初步成果，证明了该方案的可行性与有效性。

摘要： 本文分析了表征语音参数的LSP线谱对，研究了基于GMM高斯混合模型的语音转换系统，并采用了一种结合动态特征参数的算法改善语音转换的性能。

摘要： 本文中，我们对现有语音转换方法进行分析，并针对频谱弯曲方法相似度较低的问题，将频谱弯曲与单元挑选相结合以提高与目标人频谱细节上的相似度。我们首先利用频谱弯曲来获得弯曲后的源频谱。然后，我们利用弯曲后的源频谱作为预测目标从目标说话人频谱中进行单元挑选。最后，我们用挑选出来的目标说话人频谱对弯曲后的源频谱进行部分替换，以提高频谱细节上的相似度。评测结果表明，改进的方法与单纯的频谱弯曲相比能够获得约20%的相似度提高。文章最后提出了进一步的改进方向。

摘要： 传统的加权频率卷绕算法是单独地对每帧语音特征参数进行转换,没有考虑到语音帧前后的相关信息。针对这一点,该文提出了一种改进的加权频率卷绕算法,它利用压缩感知理论提取语音信号的帧间相关信息。在进行转换时,该算法是相当于对语音段进行转换。客观测试和主观听觉评测表明,虽然改进后算法的性能会受到语音段长度的影响,但当选择合适语音段长度时,性能要好于传统的加权频率卷绕算法。

摘要： 本研究通过建立汉字发音口形库、汉字拼音库，调用汉字内码与微软SAP15语音开发库，利用汉语语音识别技术和汉语拼音与发音口形的关系设计汉字语音音频转换为发音口形图像的应用软件。

摘要： 印尼棉兰美达村客家话词汇中,有不少来自印尼语的借词,值得去关注.本文从词汇内容、借入原因和方式、新老差异等三个方面对美达村客家话词汇中的印尼语借词进行了探析.

摘要： 本申请实施例提供了一种语音情绪转换方法、语音情绪转换装置、设备和存储介质，属于人工智能技术领域。该方法包括：获取初始情绪音频的初始频谱数据和初始情绪标签；根据音频代码簿模型对初始频谱数据进行编码，得到第一编码数据；根据音高提取算法对初始频谱数据进行音高提取，得到目标音高信息；获取目标情绪标签，并根据第一编码数据、目标音高信息、初始情绪标签和目标情绪标签进行编码合成，得到第二编码数据；将第二编码数据输入至预训练的翻译模型进行编码翻译，得到目标代码簿序列信息；根据目标代码簿序列信息生成目标频谱数据；对目标频谱数据进行声码还原，得到目标情绪音频。本申请实施例能够提高语音情绪转换的效率和准确性。

摘要： 本公开提供了联邦学习模型的生成方法及其装置，涉及人工智能技术领域中的深度学习和自然语言处理技术领域。其中为：获取源语音、参照语音和干净语音，从源语音中提取出语音内容信息，从参照语音中提取出第一声学特征，将语音内容信息、第一声学特征和干净语音输入至语音转换模型中，以生成第二声学特征；以及根据第二声学特征合成目标语音。本公开实施例利用干净语音指导语音转换模型整合语音内容信息和第一声学特征，得到第二声学特征，从而生成干净的目标语音，提高语音转换的质量和鲁棒性，降低对录音环境的要求，该方法能够适用于各种通用场景。

摘要： 本公开提供了联邦学习模型的生成方法及其装置，涉及人工智能技术领域中的深度学习和自然语言处理技术领域。其中为：获取源语音、参照语音和干净语音，从源语音中提取出语音内容信息，从参照语音中提取出第一声学特征，将语音内容信息、第一声学特征和干净语音输入至语音转换模型中，以生成第二声学特征；以及根据第二声学特征合成目标语音。本公开实施例利用干净语音指导语音转换模型整合语音内容信息和第一声学特征，得到第二声学特征，从而生成干净的目标语音，提高语音转换的质量和鲁棒性，降低对录音环境的要求，该方法能够适用于各种通用场景。

摘要： 本发明公开了一种语音转换模型的训练方法，应用于人工智能领域。本发明提供的语音转换模型包括第一神经网络、第三神经网络和第四神经网络，本发明提供的方法包括：计算样本语音数据向量化后经过梯度翻转层后的第一损失；计算所述样本语音数据向量化后与对应的文本内容数据向量化后的第二损失；将所述样本语音数据向量化后和所述文本内容数据向量化后拼接成语音隐向量，将所述语音隐向量转换为目标语音数据；计算所述目标语音数据与样本语音数据的第三损失；根据所述第一损失、所述第二损失和所述第三损失调整所述语音转换模型中神经网络的参数；循环前述步骤，直至所述第一损失最大，且所述第二损失和所述第三损失都最小时，得到训练完成的语音转换模型。

摘要： 本发明涉及语音转换领域的语音转换模型训练方法及装置、语音转换方法及装置，模型训练方法，包括步骤：获取第一语音和与所述第一语音内容相同的文本数据，以所述文本数据计算第一内容特征；提取第一语音的频谱特征，输出第一频谱特征，通过所述第一频谱特征计算第一说话人特征和第一隐变量；将所述第一隐变量和所述第一说话人特征输入流模型，以所述第一说话人特征为条件，计算输出第二说话特征，以第二说话特征和第一内容特征计算损失函数，提取达到预设优化参量后的第一隐变量，将优化后的第一隐变量输入解码器得到预测语音。本发明技术很好地保留了说话人的语气语调等信息。

摘要： 本申请涉及语音处理技术领域，提供了一种语音转换模型训练方法、语音转换方法及装置、设备，语音转换模型训练方法包括：获取第一说话者说话的第一语音音频样本和第二语音音频样本、第二说话者说话的第三语音音频样本，并将其输入到语音转换模型得到对应的第一说话人特征向量、第二说话人特征向量以及第三说话人特征向量，确定第一说话人特征向量与第二说话人特征向量之间的第一相似度值，第三说话人特征向量与第一说话人特征向量或者第二说话人特征向量之间的第二相似度值，并以最大化第一相似度值，最小化第二相似度值为训练目标，对语音转换模型进行训练，能够提高语音转换模型对说话人特征信息的解耦能力。

摘要： 本申请提供一种语音转换模型训练、语音转换方法、装置、电子设备及存储介质，该语音转换模型训练方法包括：获取多个训练音色分别对应的训练音频集；针对每个训练音色，根据训练音色对应的训练音频集确定训练音色对应的PPG特征数据集；根据训练音色对应的PPG特征数据集和训练音色对应的声学特征信息，对声学模型和声码器进行联合训练，获取训练音色对应的语音转换子模型；语音转换模型包括多个训练音色分别对应的语音转换子模型。本申请可以减小语音转换模型所输出的音频与实际期望输出的音频之间的差异。

摘要： 本发明公开了一种语音转换模型的训练方法，应用于人工智能领域。本发明提供的语音转换模型包括编码器、实例化归一层、声纹提取器和解码器，本发明提供的方法包括：抽取原说话人的语音样本输入所述编码器，得到第一语音编码数据；所述实例化归一层去除所述第一语音编码数据中原说话人的语音属性，得到第一语音隐向量；获取所述目标说话人的第一声纹向量；所述解码器合成所述第一语音隐向量和所述第一声纹向量，得到重构语音数据；计算所述重构语音数据与所述原说话人的语音样本的第一损失；判断所述第一损失是否达到最大，若否，则优化所述实例化归一层的参数，循环前述步骤，直至所述第一损失达到最大，得到训练完成的语音转换模型。

摘要： 本申请涉及人工智能技术，提出一种语音转换模型的训练及语音转换方法、装置和相关设备，该方法包括：将第一音色域语音数据和第二音色域语音数据输入至循环生成对抗网络以对循环生成对抗网络进行训练，获取循环生成对抗网络中判别器的判别结果；若需要对循环生成对抗网络中的生成器进行优化且根据判别结果确定进行梯度反转，则对根据生成器对应的损失函数计算得到的梯度进行反转，根据反转后的梯度对生成器的模型参数进行更新；若根据判别结果确定不进行梯度反转，则对根据生成器对应的损失函数计算梯度，根据梯度对生成器的模型参数进行更新，迭代训练直至模型收敛。通过本申请得到更加健壮的语音转换模型，同时增强了语音转换的准确性。

摘要： 本申请涉及语音转换技术领域，提供了一种语音转换模型训练方法、语音转换方法、装置及介质，方法部分包括：通过编码器从预设语音样本中提取语音样本特征。然后基于预设掩码策略对语音样本进行解耦，得到的样本特征表示，将样本特征表示输入至生成器，令生成器根据样本特征表示重建语音样本梅尔频谱图，得到目标样本梅尔频谱图，根据目标样本梅尔频谱图和预设语音样本对应的原始样本梅尔频谱图，计算语音转换模型的语音重构损失。基于对抗损失和语音重构损失优化语音转换模型中的参数，得到训练好的语音转换模型。通过预设掩码策略和预设对抗网络对语音样本特征进行解耦，提高了语音转换模型的鲁棒性，进而提高了训练效率。