橙 建网站,长沙营销企业网站建设,南阳微网站制作,led外贸网站文章目录1 为什么需要Alignment2 穷举所有的alignment2.1 HMM的对齐2.2 CTC的对齐2.3 RNN-T的对齐3 小结本文为李弘毅老师【Speech Recognition - Alignment of HMM, CTC and RNN-T (optional)】的课程笔记#xff0c;课程视频youtube地址#xff0c;点这里#x1f448;(需翻…
文章目录1 为什么需要Alignment2 穷举所有的alignment2.1 HMM的对齐2.2 CTC的对齐2.3 RNN-T的对齐3 小结本文为李弘毅老师【Speech Recognition - Alignment of HMM, CTC and RNN-T (optional)】的课程笔记课程视频youtube地址点这里(需翻墙)。
下文中用到的图片均来自于李宏毅老师的PPT若有侵权必定删除。
文章索引
上篇 - 1-4 HMM
下篇 - 1-6 RNN-T Training
总目录
1 为什么需要Alignment
现在所有的seq2seq的模型forward的过程从宏观上来讲就是我们输入一个序列XXX可以输出产生任意序列YYY的概率。
然后decode的时候我们就是要找到一个序列YYY使得P(Y∣X)P(Y|X)P(Y∣X)最大。在找这个序列的时候一般不会穷举而是通过Beam Search去做。
Decoding:Y∗argmax⏟YlogP(Y∣X)Decoding:Y^* \underbrace{argmax}_Y logP(Y|X) Decoding:Y∗YargmaxlogP(Y∣X)
像LAS这样的的输出中没有额外的符号的模型其结果就直接是P(Y∣X)P(Y|X)P(Y∣X)了。比如上图要计算输出序列ababab的概率就是
P(Y∣X)P(a∣X)P(b∣a,X)P(EOS∣ab,X)P(Y|X)P(a|X)P(b|a,X)P(EOS|ab,X) P(Y∣X)P(a∣X)P(b∣a,X)P(EOS∣ab,X)
如果有点忘了LAS的decoder是长什么样的话可以看下面这幅图。 在训练的时候我们就希望训练出一组模型参数θ\thetaθ下使得模型在decode的时候得到标签Y^\hat{Y}Y^的概率是最大的。
Training:argmax⏟θlogPθ(Y^∣X)Training: \underbrace{argmax}_{\theta}logP_{\theta}(\hat{Y}|X) Training:θargmaxlogPθ(Y^∣X)
以上的是模型输出符号都是字典里的字符的情况但是当用CTC或者RNN-T这样的模型时我们的结果中是会出现ϕ\phiϕ这样的占位符的那么就不能简单地直接计算P(Y∣X)P(Y|X)P(Y∣X)了。而HMM这样的模型会需要去掉重复的字符故也不能直接计算。 这个时候我们需要计算的是所有能够通过相应的对齐规则对齐到YYY的输出序列hhh概率之和。
P(Y∣X)∑h∈align(Y)P(h∣X)P(Y|X) \sum_{h \in align(Y)}P(h|X) P(Y∣X)h∈align(Y)∑P(h∣X)
这就是我们要讲alignment的原因。
下文会讲到的如何穷举所有可能的alignment。也就是上面公式中h∈align(Y)h \in align(Y)h∈align(Y)这个集合是怎么来的。
2 穷举所有的alignment
为了方便说明我们假设现在输入的sequence长度为6输出的sequence为cat。由于HMMCTC和RNN-T对齐的规则有所不同故他们在找h∈align(Y)h \in align(Y)h∈align(Y)这个集合的时候也会有些不同。
2.1 HMM的对齐
HMM的对齐规则为
去掉所有的相邻重复字符
所以HMM在找h∈align(Y)h \in align(Y)h∈align(Y)的时候就是在cat的基础上加入重复的字符使得序列的长度等于T6T6T6。写成演算法的话就是下图中灰色方框里这样。比如我们的目标是cat那么N3N3N3然后我们从c开始选择重复一次或者多次接着再去重复a和t我们需要保证所有的字符都至少出现一次且它们出现的次数之和为输入序列的长度TTT。
HMM要找的所有alignment都可以画在一个表格当中。这个表格的起点为左上角的橘黄色的点终点为右下角蓝色的点。往右下方走表示选择下一个token往正右方走表示重复一个token。我们要在保证每次只能往右下或者正右的情况下从橘点走到蓝点。每一种走法的路径就是一个alignment。
2.2 CTC的对齐
CTC的对齐规则为
首先合并所有的相邻重复字符然后去除掉所有的ϕ\phiϕ
所以CTC在找h∈align(Y)h \in align(Y)h∈align(Y)的时候就是在cat的基础上加入重复的字符和ϕ\phiϕ使得序列的长度等于T6T6T6。写成演算法的话就是下图中灰色方框里这样。比如我们的目标是cat那么N3N3N3然后我们从c或者“ϕ\phiϕ”开始选择重复一次或者多次接着再去重复aϕ\phiϕ“和t”ϕ\phiϕ我们需要保证所有的字符都至少出现一次ϕ\phiϕ“可以出现也可不出现且字符和”ϕ\phiϕ出现的次数之和为输入序列的长度TTT。 CTC要找的所有alignment同样也可以画在一个表格当中。这个表格的起点为左上角的橘黄色的点终点有两个为右下角蓝色的点。
第一步我们可以选择字符或者“ϕ\phiϕ”如果选择了字符c那么接下来可以有3种选择分别是往正右重复往右下对角插入一个ϕ\phiϕ往右下走马步插入字符a。 如果我们选择的是ϕ\phiϕ那么我们就只有2种选择分别是往正右重复ϕ\phiϕ“或者往右下对角插入字符c”。这个时候是不能走右下马步重复ϕ\phiϕ的。 总结一下就是在ϕ\phiϕ行的时候有正右或者右下对角2种选择在字符行的时候有正右或者右下对角或者右下马步3种选择。 还有一种特殊情况需要注意的是如果走右下角马步得到的字符和当前字符是相同的时候不同走右下角马步。 基于以上的这些规则从橘点走到右下脚两个蓝点中的任意一个所经过的路径都是一个合理的alignment。
2.3 RNN-T的对齐
RNN-T的对齐规则为
去除掉所有的ϕ\phiϕ
所以RNN-T在找h∈align(Y)h \in align(Y)h∈align(Y)的时候就是在cat的基础上加入T6T6T6个ϕ\phiϕ。写成演算法的话就是下图中灰色方框里这样。我们在每个字符之间都可以插入数量不等的ϕ\phiϕ但是末尾至少要有1个ϕ\phiϕ然后所有ϕ\phiϕ“的个数之和为T6T6T6。 RNN-T要找的所有alignment同样也可以画在一个表格当中不过这个表格和之前的有所不同。这个表格的起点为左上角的蓝色的点终点为右下角蓝色的点。每往正右走一步就是插入一个”ϕ\phiϕ每往正下走一步就是插入一个字符直到走到右下角的蓝点所经过的路径都是一个合理的alignment。
3 小结
HMM、CTC和RNN-T都可以用如下图所示的HMM专用的状态转移图来表示。其实也就是上文所述的东西我觉得就算不看下面这个图也无所谓所以这里就不讲了。
