这学期张连文教授教的CSIT6000G Machine Learning课上讲到了VAE和GAN，学完之后感觉两个概念被解释的很好，所以有必要记录一下。
VAE(Variational Autoencoder)中文译为变分自动编码器，它是一种深度生成模型（Deep Generative Model），是一种无监督学习算法。它的主要作用是能够学习一个函数（模型），使得输出数据的分布尽可能地逼近原始数据分布。
假设我们有一堆无标签数据集 \(X = \{x^{(i)}\}_{i=1}^{N}\), 每一个数据\(x^{(i)}\)是一个表示图像的vector，而vector中的每一个元素则表示图像的像素；那么我们的任务就是：
希望从原始数据集\(X\)中学习一个分布\(p(x)\)，使得它的分布和原始数据分布接近，也就是说我们可以生成和原始图像相似但不同的图片。
那么这个问题如何求解呢？
我们假设：
本文主要介绍自然语言处理（Natural Language Processing：NLP）中的一些最基础的概念，可以帮助读者在整体上感知这一领域，算是一篇入门读物。
Vocabulary，表示所有词的集合。一般而言，经过one-hot encoding之后的向量的长度即为词库的大小。
Corpus，由词库里所有的词组成的句子，短语等语料信息，可以简单理解为一个/多个documents。
Word Vector，就是把一个Word表示成一个向量（vector），最常见的有one-hot encoding。
我们知道一个单词最原始的表达方式（Word Representation）是one-hot encoding，但是这种方式是有缺陷的，它仅仅将单词符号化，不包含任何语义信息。那如何才能表达出一个词的语义呢？Harris 在 1954 年提出的分布假说（ Distributional Hypothesis）为这一设想提供了理论基础：上下文相似的词，其语义也相似。 这个很好理解，比如有如下两句话：
本文介绍Coursera-Deep Learning第四课卷积神经网络最后一节内容：神经风格转换（Neural Style Transfer）。
这个概念其实没有明确的定义，但是看一张图就能一目了然了：
最左边是一张古城的照片，而右边则是梵高的著名油画作品：星夜。现在我们在两者的基础上合成一张含有星夜的风格的古城照片，这就是神经风格转换。这应该是神经网络应用里最有趣最好玩的一个了，那么它具体是如何实现的呢？
为了后面的解释更清楚，我们先做一些定义：
直觉上，最后合成的图像G至少应该满足以下两个条件：
要实现一个有趣的神经网络应用，最重要的是你如何去定义或者说找到它的损失函数。根据上面所说的条件，那么神经风格转换的损失函数应该由两部分组成，它的大致形式如下：
$$
J(G) = \alpha[……]
本文介绍Coursera-Deep Learning第四课卷积神经网络最后一节内容：人脸识别。
在深度学习起飞之前，基于纯粹的图像处理的人脸识别方法已经存在了，第一个有效的人脸识别方法叫做特征脸方法（Eigenfaces）。该方法首先由Sirovich and Kirby (1987)提出，并由Matthew Turk和Alex Pentland用于人脸分类。它大致的原理是先对图像进行预处理，比如做直方图均值化（Histogram equalization）；再通过PCA对图像进行降维，然后计算出数据库中K个人脸图像的平均脸[……]
上文我们介绍了目标检测和目标定位的基础知识，本文我们就正式开始介绍YOLO算法。YOLO全称是You Only Look Once，这个算法来源于Joseph Redmon等人在CVPR 2015上发表的一篇论文：You Only Look Once: Unified, Real-Time Object Detection，它不仅解决了目标边界框不精确的问题，而且算法速度也很快，下面让我们看看它是如何实现的。
YOLO的基本思路是，把一个大的图像分割成更小更精细的n等份的网格，然后每个网格都打上标签，这个格子内是否有目标，目标的位置以及目标所属类别。为了简单起见，我们以\(3 \times 3\)的网格为例，实际使用中的表格会更精细，比如\(19 \times 19\)，它们的示意图如下：
这样一来输出层的大小就是\(3 \times 3 \times 8\)或者\(19 \times 19 \times 8\)。值得注意的是，YOLO算法是一个卷积实现，所以它的速度非常快，基本可以做到实时检测。还有一个小细节是，在计算每个格子中目标的位置时，我们不再以整张图标作为参考[……]