引言
之前写过一篇关于PCA的文章，写完之后就以为自己已经完全理解这个东西了。直到最近data mining课上又讲到这个内容，和同学交流时才发现有些细节根本没有理解到位。上一篇文章主要介绍如何一步一步计算出一个PCA算法，而今天则侧重于从数学的角度讲讲为什么。
基本概念
再深入介绍之前，先理解几个基本的数学概念：
方差（Variance）:
一个变量的方差可以看做是每个元素与变量均值的差的平方和的均值，即：$${\displaystyle \Sigma =\mathrm {cov} (X_{i},X_{i}) = \mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})^{2}\end{bmatrix}} = \mathrm {E} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{i}-\mu _{i})\end{bmatrix}}}
$$
其中，\(E\)表示的是均值函数，\(\mu_{j}\)表示的是样本的均值。方差用来度量单个变量样本数据的离散（偏离均值）的程度。
协方差（Covariance）:
变量\(X_{i}\[……]
