深度学习之神经风格转换

Hits: 104

本文介绍Coursera-Deep Learning第四课卷积神经网络最后一节内容:神经风格转换(Neural Style Transfer)。

什么是神经风格转换?

这个概念其实没有明确的定义,但是看一张图就能一目了然了:

Imgur
最左边是一张古城的照片,而右边则是梵高的著名油画作品:星夜。现在我们在两者的基础上合成一张含有星夜的风格的古城照片,这就是神经风格转换。这应该是神经网络应用里最有趣最好玩的一个了,那么它具体是如何实现的呢?

问题描述

为了后面的解释更清楚,我们先做一些定义:

  • 内容图片称为Content Image,简写为C
  • 风格图片称为Style Image,简写为S
  • 合成图片称为Generated Image,简写为G

直觉上,最后合成的图像G至少应该满足以下两个条件:

  • 1.内容要和内容图片的内容尽可能接近
  • 2.风格要和风格图片的风格尽可能接近

损失函数

要实现一个有趣的神经网络应用,最重要的是你如何去定义或者说找到它的损失函数。根据上面所说的条件,那么神经风格转换的损失函数应该由两部分组成,它的大致形式如下:

$$
J(G) = \alpha J_{content}(G,C) + \beta J_{style}(G,S)
$$
其中,\(J_{content}(G,C)\)代表的是内容代价函数;而\(J_{style}(G,S)\)代表的风格代价函数;\(\alpha\)和\(\beta\)则是调节系数。

内容代价函数

我们如何定义“内容要和内容图片尽可能接近”呢?我们知道卷积神经网络有一种直观的解释是:每一层的神经元的数值其实是代表了图像的某种特征,而且随着层数的递增,这些特征会越来越复杂,比如第一层只是提取出一些边缘,色彩等,而到后面则会提取出一些比较抽象的特征:
Imgur
那么我们就可以选取其中某一层\(l\)的神经元作为计算对象,计算他们之间的数值差即可作为他们内容的差异性。于是,内容代价函数就可以定义为:

$$
J_{content}(C,G) = ||a^{[l](C)}-a^{[l](G)}||^2
$$
其中,\(a^{[l](C)}\)表示内容图片在\(l\)层的神经元;\(a^{[l](G)}\)表示合成图片在\(l\)层的神经元;

风格代价函数

内容代价函数是很好理解的,那么风格代价函数该如何定义呢?要定义风格代价函数,我们首先得解决一个问题:如何定义风格?
Imgur
这篇论文里是这样定义风格的:不同通道之间神经元的相关性决定了该图像的风格。这个怎么理解呢?比如通道1是黄色的,通道2是带有竖条的栅栏,如果通道1和通道2在数值上是相关的,那么我们就可以推断这幅图像的一个风格是:黄色的栅栏。这样解释是说的通的。相关性一般的计算方式是通过协方差,这里我们用的是非标准的形式,只是两个数值相乘,并没有减去均值。因此,风格图像S和合成图像G在第\(l\)层的风格值定义如下:
$$
G_{kk'}^{[l](S)} = \sum_{i=1}^{n_h}\sum_{j=1}^{n_w} a_{i,j,k}^{[l](S)}a_{i,j,k'}^{[l](S)} \\
G_{kk'}^{[l](G)} = \sum_{i=1}^{n_h}\sum_{j=1}^{n_w} a_{i,j,k}^{[l](G)}a_{i,j,k'}^{[l](G)}
$$
其中,

  • \(a_{i,j,k}^{[l]}\)是在通道\(k\),高度\(i\),宽度\(j\)处的神经元

  • \(k\)和\(k'\)都取自\([1,n_c]\),所以我们不难发现\(G_{kk'}^{[l](S)} \)和\(G_{kk'}^{[l](G)}\)其实是一个对称矩阵,这种矩阵也被称为Gram Matrix.

在明确了风格的定义之后,风格代价函数自然也就很简单了,只要两者作差即可:

$$
J_{style}(S,G)^{[l]} = ||G_{}^{[l](S)} - G_{}^{[l](G)}||^2
$$

$$
J_{style}(S,G)^{[l]} = \sum_{k}\sum_{k'} (G_{kk'}^{[l](S)} - G_{kk'}^{[l](G)})^2
$$

有时候为了更好的效果,我们会把各层的风格损失函数累加起来,于是我们有:

$$
J_{style}(S,G) = \sum_{l=1}^{L}J_{style}(S,G)^{[l]}
$$


发表评论

电子邮件地址不会被公开。 必填项已用*标注