注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Grandowife的博客

Task-Driven

 
 
 

日志

 
 
 
 

【原】CTC整理  

2017-04-17 19:00:55|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
这篇文章写于看过Alex的论文《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks》之后的一些思考与想法,在此做一些整理工作,以便日后学习与应用。
论文地址 http://www.cs.toronto.edu/~graves/icml_2006.pdf

主要分几个部分进行介绍:
1. CTC的理论推导
2. CTC中blank的意义
3. CTC的扩展与未来应用

1.CTC的理论推导
如果看懂了Alex这篇论文就可以跳过了。
我们老师常说,看懂一个问题的标准就是 能拿一句话来描述这个问题到底干了什么事。
所以在这我也抛砖引玉一下,不严谨之处请各位指教。
CTC通过在RNN网络输出层中加入blank元素定义新的目标函数,使用前向后向算法计算RNN网络输出的条件概率,并用最大似然算法优化目标函数,实现解决未分割序列标注问题的目的。

CTC网络的输入是由RNN网络关于样本对(x,l)的条件概率P(l|x),x为样本输入序列,l为x对应的标签序列。得到这个概率之后,我们利用最大似然,让条件概率达到最大值,也就是选出给定输入序列时,以最大概率出现的标签序列(HMM解码思想)。那么我们最直观的条件概率计算方法就是,在RNN的所有时间步中,可以组成许多路径,将所有能映射成l的路径出现的概率加和,即为l出现的条件概率。但是从这个描述当中,我们会发现路径有很多很多种,不可能每一个都枚举出来,所以我们需要一个有效的计算概率的方式。那么引出了下面我们要说的算法。

CTC中的前向后向算法
下面是我做ppt的截图,所有的符号含义与alex论文中一致。
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
CTC的最大似然训练
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 也可以参考知乎上的推导方式  https://www.zhihu.com/question/53399706
下面就可以应用BPTT算法进行反向传播了

2. CTC的blank的意义
【原】CTC整理 - sqyshiqiuying - Grandowife的博客
 
3. CTC的扩展与未来应用
CTC网络是一个解码方式不健全,我认为这里可能是研究者的一个突破口,目前也已经有人提出了新的解码方法,
如WFST(Miao Y, Gowayyed M, Metze F. EESEN: End-to-end speech recognition using deep RNN models and WFST-based decoding[C]//Automatic Speech Recognition and Understanding (ASRU), 2015 IEEE Workshop on. IEEE, 2015: 167-174.)。


欢迎转载,请标注出处。http://grandowifenuli.blog.163.com/blog/getBlog.do?fromString=bloglist
  评论这张
 
阅读(8)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017