当前位置:首页 > 情感口述 > 文章

黄志龙:融资难、融资贵问题孰先孰后?央行有必要降息吗?

日期:2019-08-12?|? 作者:本站原创?|? 76 人围观!

黄志龙:融资难、融资贵问题孰先孰后?央行有必要降息吗?

速度提升倍!百度提出语音合成新模型,一个完全并行的神经TTS系统##########原标题:速度提升倍!百度提出语音合成新模型,一个完全并行的神经TTS系统铜灵发自凹非寺文字转语音(TTS)领域又有了新进展。 这一次,百度提出了一种非自回归序列到序列的模型ParaNet,引入了一个完全并行的神经TTS系统,将文本转换成光谱图。 和此前百度提出的实时语音合成系统DeepVoice3相比,ParaNet可在保证准确率相当的情况下,将速度提升到倍。

这是如何做到的?双刃的自回归特性文字转语音(TTS)也称为语音合成,目前已经在人机交互、虚拟助手和内容创造等方面广泛应用了。 传统的TTS系统基于多级人工调配(hand-engineered),依赖此特征作为输入或进行预训练。 在这种方法中,基于自回归的深度神经网络模型已经取得了比较先进的研究,包括高保真度的音频合成、更简单的序列到序列(seq2seq)的pipeline。

其中,最流行的神经TTSpipeline通常包含两部分:一是自回归seq2seq模型,从文本中生成梅尔光谱图;二是自回归神经声码器(比如WaveNet),能够从梅尔光谱图中生成原始波形。 这种pipeline对专业知识深度的要求变少了,只需要成对的音频和评分,用于训练数据。 然而,这种模型的自回归特性也让合成速度变得很慢,因为它们以高时间分辨率连续运行波形样本或声学特征。

针对这个问题,也有不少研究在对其进行改进,比如谷歌的并行WaveNet(parallelWaveNet)和百度ClariNet,已经提出了并行波形合成的方法,但仍然依赖与自回归或递归组件生成音频帧级别的特征。

也就是说,此前的所有研究在为并行研究优化的现代硬件上,综合速度都有很大的提升空间。 在论文ParallelNeuralText-to-Speech中,百度研究院的研究人员提出的非自回归的文本-图谱模型ParaNet,引入了一个完全并行的神经TTS系统,想解决速度的问题。

在上面这张图中,a图为自回归seq2seq模型,虚线表示了推理过程中自回归解码的梅尔频谱图,b图为非自回归ParaNet模型,它从预先训练好的自回归模型中提取注意力。

ParaNet是首个非自回归基于注意力架构的TTS模型,这是一个完全卷积的结构,可将文本转换成梅尔频谱图。 ParaNet的架构如下图所示:可以看出,其编码器提供了(key,value)作为文本表示。

解码器中的第一个注意块获取位置编码作为查询指令,然后是非因果(non-causal)卷积块和注意块。 此外,研究人员通过应用逆向自回归流(inverseautoregressiveflow,IAF)作为并行神经声码器。 它可以通过单一前向反馈从文本合成语音。

研究人员用不同的方法评估了ParaNet的语音合成效果。

结果显示,ParaNet在语音合成的速度上,比百度此前的DeepVoice3架构提升了倍,将运行50次的平均推理延迟从秒降低到秒。

并且,在合成语音的质量上,两种方法基本持平。 此外,研究人员发现,在给出100句测试集上测试文本到光谱模型的注意力误差时还发现,具有注意力mask的非自回归ParaNet在合成过程中的误差最小。

华人团队这篇论文来自百度研究院,参与其中的四位共同一作均为华人。

作者之一的KainanPeng,其Linkedin资料显示,自2015年从北京理工大学毕业后,Kainan继而去CMU攻读了电气与计算机工程的硕士。

2017年,Kainan入职了百度,参与了多篇顶会论文的研究,包括NIPSspotlight2017的DeepVoice2、被ICLR2018接收的DeepVoice3、NIPSspotlight2018论文VoiceCloning和ICLR2019接收的研究ClariNet。 另一位作者WeiPing是百度硅谷研究院的高级研究员。 WeiPing的履历同样闪闪发光,哈工大计算机科学本科、清华硕士、加州大学的博士。

毕业后,WeiPing在微软、加州大学就职过。

加入百度不到一年的时间以来,WeiPing主导了百度基于WaveNet的并行音频波形生成模型ClariNet。 此外,百度研究院的ZhaoSong和KexinZhao也参与了这项研究。 传送门论文地址:https:///abs/项目主页:https:///作者系网易新闻·网易号“各有态度”签约作者—完—。


情感美文提供的文章均由网友转载于网络,若本站转载中的文章侵犯了您的权益,请与本站管理员联系. Copyright © 2006-2019 情感美文-情感专家www.c229.com All Rights Reserved.

返回顶部