方差的定義
方差在我們的日常生活當中非常常見，它主要是為了提供樣本離群程度的描述。舉個簡單的例子，我們去買一包薯片，一般來說一袋薯片當中的數量是固定的。我們假設平均每袋當中都有50片薯片好了，即使是機器灌裝，也不可能做到每一袋都剛好是50片，或多或少都會有些誤差。而均值則無法衡量這種誤差。
如果現在有兩個薯片品牌，它們的口味都差不多，平均每袋也都是50片。但是其中A品牌的薯片有一半是80片，還有一半是20片。B品牌呢，99%都在45-55之間。你說你會買哪一個牌子呢？(在不考慮透過稱重的情況下)。
在現代社會，凡是工廠出廠的產品，基本上都離不開方差這個概念。方差越低，說明工廠的生產能力越強，能夠做到每一個產品都很精細，相反如果方差越大，則說明瑕疵很多，不夠精細。也就是說，方差衡量的是樣本距離均值的期望。
它本來應該寫成：E|X - E(X)|。
但是由於式子當中存在絕對值，我們通常會對它平方，從而將絕對值消掉。寫成：

這裡的E表示期望，這是統計學當中的寫法，如果看不明白，我們也可以把式子展開寫成：
這裡的N表示的是樣本數量，X bar 是樣本的均值。Var是英文variance的縮寫，我們也可以寫成D(X)。
由於方差是透過平方計算得到的，我們也可以將它進行開方，得到標準差。根號D(X)，也可以寫成σ(X)。
方差的性質
關於方差有幾個著名的性質，如果X是變數，而C是常數。那麼：
也就是對於每一個變數都乘上一個常數，那麼整體的方差擴大C的平方倍。這個很好理解，因為樣本值擴大了C倍，由於我們在計算方差的時候用到了平方，那麼自然就是擴大了C的平方倍。我們利用上面展開的公式代入可以很容易得到證明。
下一個性質是：
也就是全體樣本加上一個常數，整體的方差不變。如果我們的樣本不是一個值，而是一個向量的話，那麼這個公式可以拓展成樣本加上一個常數向量，樣本的方差保持不變。這個也很好理解，樣本加上一個常數向量，相當於整體朝著向量的方向移動了一個距離，對於整體的分佈並不會影響。
如果某個樣本X的方差為0，那麼說明樣本內只有一個值。
下面一個性質稍微複雜一點：
也就是說方差等於樣本平方的期望減去樣本期望的平方，我們光從定義上很難得出這個結論，需要透過嚴謹的推導：
在有些時候，我們直接求解樣本的方差不太方便，而求解平方的期望很容易，這個時候我們可以考慮使用這個公式進行代換。
方差與協方差
方差我們一般不直接在機器學習當中進行使用，更多的時候是用在特徵分析當中，檢視特徵的方差來感知它的離散情況，決定要不要對特徵進行一些處理。因為對於一些模型來說，如果特徵的方差過大，那麼模型可能很難收斂，或者是收斂的效果可能會受到影響。這個時候往往需要考慮使用一些方法對特徵值進行標準化處理。
除了方差之外，還有一個類似的概念也經常被用到，就是用來衡量兩個變數之間相關性的協方差。
協方差的公式其實和方差也有脫不開的關係，我們先來簡單推導一下。
首先，我們來看一下D(X+Y)，這裡X和Y是兩個變數，D(X+Y)就表示X+Y的方差，我們來看下D(X+Y)和D(X)和D(Y)之間的關係。
我們可以來推導一下，根據方差的定義：
這裡的N是一個常量，我們可以忽略，只用來看分子即可。我們把式子展開：
我們看下上面化簡之後的結果：
在這個式子當中D(X)， D(Y)都是固定的，並不會隨XY是否相關而發生變化。但是後面一項不是，它和XY的相關性有關。
我們可以用這一項來反應X和Y之間的相關性，這就是協方差的公式：
所以協方差反應的不是變數的離散和分佈情況，而是兩個變數之間的相關性。到這裡，我們可能還不太看得清楚，沒有關係，我們再對它做一個簡單的變形，將它除以兩者的標準差：
這個形式已經非常像是兩個向量夾角的餘弦值，它就是大名鼎鼎的皮爾遜值。皮爾遜值和餘弦值類似，可以反映兩個分佈之間的相關性，如果p值大於0，說明兩組變數成正相關，否則則成負相關。我們可以透過計算證明p值是一個位於-1到1之間的數。
如果p值等於0，說明X和Y完全獨立，沒有任何相關性。如果p值等於1，說明可以找到相應的係數W和b使得Y = WX+b。
方差的定義
方差在我們的日常生活當中非常常見，它主要是為了提供樣本離群程度的描述。舉個簡單的例子，我們去買一包薯片，一般來說一袋薯片當中的數量是固定的。我們假設平均每袋當中都有50片薯片好了，即使是機器灌裝，也不可能做到每一袋都剛好是50片，或多或少都會有些誤差。而均值則無法衡量這種誤差。
如果現在有兩個薯片品牌，它們的口味都差不多，平均每袋也都是50片。但是其中A品牌的薯片有一半是80片，還有一半是20片。B品牌呢，99%都在45-55之間。你說你會買哪一個牌子呢？(在不考慮透過稱重的情況下)。
在現代社會，凡是工廠出廠的產品，基本上都離不開方差這個概念。方差越低，說明工廠的生產能力越強，能夠做到每一個產品都很精細，相反如果方差越大，則說明瑕疵很多，不夠精細。也就是說，方差衡量的是樣本距離均值的期望。
它本來應該寫成：E|X - E(X)|。
但是由於式子當中存在絕對值，我們通常會對它平方，從而將絕對值消掉。寫成：

這裡的E表示期望，這是統計學當中的寫法，如果看不明白，我們也可以把式子展開寫成：

這裡的N表示的是樣本數量，X bar 是樣本的均值。Var是英文variance的縮寫，我們也可以寫成D(X)。
由於方差是透過平方計算得到的，我們也可以將它進行開方，得到標準差。根號D(X)，也可以寫成σ(X)。
方差的性質
關於方差有幾個著名的性質，如果X是變數，而C是常數。那麼：

也就是對於每一個變數都乘上一個常數，那麼整體的方差擴大C的平方倍。這個很好理解，因為樣本值擴大了C倍，由於我們在計算方差的時候用到了平方，那麼自然就是擴大了C的平方倍。我們利用上面展開的公式代入可以很容易得到證明。
下一個性質是：

也就是全體樣本加上一個常數，整體的方差不變。如果我們的樣本不是一個值，而是一個向量的話，那麼這個公式可以拓展成樣本加上一個常數向量，樣本的方差保持不變。這個也很好理解，樣本加上一個常數向量，相當於整體朝著向量的方向移動了一個距離，對於整體的分佈並不會影響。
如果某個樣本X的方差為0，那麼說明樣本內只有一個值。
下面一個性質稍微複雜一點：

也就是說方差等於樣本平方的期望減去樣本期望的平方，我們光從定義上很難得出這個結論，需要透過嚴謹的推導：

在有些時候，我們直接求解樣本的方差不太方便，而求解平方的期望很容易，這個時候我們可以考慮使用這個公式進行代換。
方差與協方差
方差我們一般不直接在機器學習當中進行使用，更多的時候是用在特徵分析當中，檢視特徵的方差來感知它的離散情況，決定要不要對特徵進行一些處理。因為對於一些模型來說，如果特徵的方差過大，那麼模型可能很難收斂，或者是收斂的效果可能會受到影響。這個時候往往需要考慮使用一些方法對特徵值進行標準化處理。
除了方差之外，還有一個類似的概念也經常被用到，就是用來衡量兩個變數之間相關性的協方差。
協方差的公式其實和方差也有脫不開的關係，我們先來簡單推導一下。
首先，我們來看一下D(X+Y)，這裡X和Y是兩個變數，D(X+Y)就表示X+Y的方差，我們來看下D(X+Y)和D(X)和D(Y)之間的關係。
我們可以來推導一下，根據方差的定義：

這裡的N是一個常量，我們可以忽略，只用來看分子即可。我們把式子展開：

我們看下上面化簡之後的結果：

在這個式子當中D(X)， D(Y)都是固定的，並不會隨XY是否相關而發生變化。但是後面一項不是，它和XY的相關性有關。
我們可以用這一項來反應X和Y之間的相關性，這就是協方差的公式：

所以協方差反應的不是變數的離散和分佈情況，而是兩個變數之間的相關性。到這裡，我們可能還不太看得清楚，沒有關係，我們再對它做一個簡單的變形，將它除以兩者的標準差：

這個形式已經非常像是兩個向量夾角的餘弦值，它就是大名鼎鼎的皮爾遜值。皮爾遜值和餘弦值類似，可以反映兩個分佈之間的相關性，如果p值大於0，說明兩組變數成正相關，否則則成負相關。我們可以透過計算證明p值是一個位於-1到1之間的數。
如果p值等於0，說明X和Y完全獨立，沒有任何相關性。如果p值等於1，說明可以找到相應的係數W和b使得Y = WX+b。