一文了解深度学习模型VAE的时序性解耦

资讯 3年前

899

现代深度学习架构一直被描述为一个黑匣子:被输入数据,并期望从中得到一些结果。然而,由于此类架构存在许多的复杂性,过程中发生的事情,通常难以解释和分析。这已发展成为整个社会未能广泛接受深度学习的主要原因之一,尤其是对于关键任务应用程序

现代深度学习架构一直被描述为一个黑匣子:被输入数据,并期望从中得到一些结果。然而,由于此类架构存在许多的复杂性,过程中发生的事情,通常难以解释和分析。这已发展成为整个社会未能广泛接受深度学习的主要原因之一,尤其是对于关键任务应用程序。

因此,“黑匣子”的解体已成为机器学习研究人员的一个重大开放问题,并且是该领域当前感兴趣的问题之一,这一研究领域通常被称为机器学习架构的“可解释性”。在本文中,我们将讨论可解释性研究中的一个重要主题,即解耦问题。

Disentangled

Sequential VAE

光的解耦(Ddisentangled)

我们举个常见的例子:在日常生活中,太阳光看起来是白色的,但是如果我们让阳光通过三棱镜,就会发现阳光分别折射出多种色彩。这说明白光其实是多种颜色混合的体现,而我们可以通过三棱镜把它分解成基本七种颜色,其中包括红、绿、蓝三原色。

我们继续聊聊白光:在广泛意义上说光是由RGB三种颜色组成的。这也就定义了光的解耦过程:光可以分离成R、G、B三种颜色,同时我们也可以用这三种颜色,进行不同程度的叠加,产生丰富而广泛的颜色。

计算机定义颜色时R、G、 B三种成分的取值范围是0-255,0表示没有刺激量,255表示刺激量达最大值。R、G、B均为255时就合成了白光,R、G、B均为0时就形成了黑色。在这个区间范围内,我们可以通过任意的数值组合构造出无数种不同的颜色,让我们的生活充满色彩。

白光和解耦又有什么关系呢?那关系就大了!我们下面简单聊一下一种深度学习模型——变分自编码器模型(VAE:variational autoencoder),然后用它来解释解耦。

什么是VAE?

什么是VAE呢?那要先从AE开始说起了。

AE(Autoencoder)

上图由两个部分组成,第一个部分是编码器(Encoder),第二部分是解码器(Decoder),图片经过编码器得到一个潜在的编码(code),编码再通过解码器还原输入的图片,因此得到的编码就是图片在一个潜在空间的表示。而编码器和解码器就是由神经网络组成的。图中例子就是希望能够生成一张一样的图片。

VAE (Variational Autoencoder)

变分编码器是自动编码器的升级版本,其结构跟自动编码器相似,也由编码器和解码器构成。在AE中,输入一个图片得到一个的编码(code),但这个编码是一个固定的编码,使得模型没有很好的泛化功能。所以VAE引入了一种新的方式有效解决了上述的问题,就是将编码问题变成一个分布问题,具体操作是在AE的基础上增加一个限制,迫使编码器得到的编码(code)能够粗略地遵循一个标准正态分布,这就是其与一般的自动编码器最大的不同。

这样我们生成一张新图片就很简单了,我们只需要给它一个标准正态分布的随机隐含向量,这样通过解码器就能够生成我们想要的图片,而不需要给它一张原始图片先进行编码。