注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

Grandowife的博客

Task-Driven

 
 
 

日志

 
 
 
 

【思想归正】关于自动编码机的一些新认识  

2016-11-15 09:59:07|  分类: 默认分类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
这篇文章的起源是师兄跟我讨论了一下自动编码机,让我发现我一直对自动编码机的认识都是错误的,也在此说一下我的新认识,如果不对之处请指正。

【总览】
什么是AutoEncoder?
是一个多层的神经网络,有一个输入层,一个或多个隐藏层和一个输出层构成,且该神经网络的目标为让输出尽量与输入相同,则认为这样的神经网络就是AutoEncoder.

【分类】
按照网络组成“元件”可以进行分类。
“元件”的概念指的是构成神经网络的最小子网络,就如RBM与DBN网络之间的关系。那么根据组成AutoEncoder的元件不同,可以分为如下两类:
(1)由RBM堆叠成的Deep AutoEncoder.
         该模型由Hinton在2006年提出,网络模型在下图中可以看到,该自动编码机是由多个RBM通过layer-wised greedy方式展开("unrolled")得到的,经过展开的Encoder和Decoder的权值互为倒数关系,最后经过BP算法的微调得到最终的Deep AutoEncoder网络,注意经过BP的网络权值就不再相等了。【思想归正】关于自动编码机的一些新认识 - sqyshiqiuying - Grandowife的博客
      (2)由NN堆叠成的Deep AutoEncoder.
上面看到的是由NN堆叠起来的Deep AE,那么除此之外,还可以用NN直接搭建Deep AE,且隐藏层可以是多层的,当隐藏层为一层时,其相当于PCA,那么多层时,预训练和微调都是经过BP算法得到,所以在这种网络结构中并不存在权值互为导数的时候。

【应用】
我们常见的Denoised AE,Sparse AE,Contractive AE,Stacked AE以及并没有广泛应用的Laplacian AE、Hessian AE,我认为都是通过NN堆叠起来的AE,所以在编码和运算中,应注意不要讲权值弄混。
  评论这张
 
阅读(6)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016