“統計”一詞，英語為statistics，用作複數名詞時，意思是統計資料，作單數名詞時，指的是統計學。一般來說，統計這個詞包括三個含義：統計工作、統計資料和統計學。這三者之間存在著密切的聯絡，統計資料是統計工作的成果，統計學來源於統計工作。原始的統計工作即人們收集資料的原始形態已經有幾千年的歷史，而它作為一門科學，還是從17世紀開始的。英語中統計學家和統計員是同一個（statistician），但統計學並不是直接產生於統計工作的經驗總結。每一門科學都有其建立、發展和客觀條件，統計科學則是統計工作經驗、社會經濟理論、計量經濟方法融合、提煉、發展而來的一種邊緣性學科。

　　1，關於單詞statistics

　　起源於國情調查，最早意為國情學。

　　十 七世紀，在英格蘭人們對“政治算術”感興趣。1662年,John Graunt發表了他第一本也是唯一一本手稿，《natural and politics observations upon the bills of mortality》， 分析了生男孩和女孩的比例，發展了現在保險公司所用的那種型別的死亡率表。

　　英文的statistics大約在十八世紀中葉由德國學者 Gottfried Achenwall所創造，是由狀態status和德文的政治算術聯合推導得出的，第一次由John Sinclair所使用，即1797年出現在Encyclopaedia Britannica。（早期還有一個單詞publicitics和statistics競爭“統計”這一含義，如果得勝，現在就開始流行 publicitical learning了）。

　　2，關於高斯分佈或正態分佈

　　1733年，德-莫佛（De Moivre）在給友人分發的一篇文章中給出了正態曲線（這一歷史開始被人們忽略）

　　1783年，拉普拉斯建議正態曲線方程適合於表示誤差分佈的機率。

　　1809年，高斯發表了他的關於天體執行論的偉大著作，在這一著作的第二卷第三節中，他匯出正態曲線適宜於表示誤差規律，同時承認拉普拉斯較早的推導。

　　正態分佈在十九世紀前葉因高斯的工作而加以推廣，所以通常稱作高斯分佈。卡爾-皮爾遜指出德-莫佛是正態曲線的創始人，第一個稱它為正態分佈，但人們仍習慣稱之高斯分佈。

　　3，關於最小二乘法

　　1805年,Legendre提出最小二乘法，Gauss聲稱自己在1794年用過，並在1809年基於誤差的高斯分佈假設，給出了嚴格推導。

　　4，其它

　　在十九世紀中葉，三個不同領域產生的重要發展都是基於隨機性是自然界固有的這個前提上的。

　　阿道夫·凱特萊特（A. Quetlet,1869）利用機率性的概念來描述社會學和生物學現象（正態曲線從觀察誤差推廣到各種資料）

　　孟德爾（G.Mendel,1870）透過簡單的隨機性結構公式化了他的遺傳法則

　　玻爾茲曼（Boltzmann,1866）對理論物理中最重要的基本命題之一的熱力學第二定律給出了一個統計學的解釋。

　　1859 年，達爾文發表了《物種起源》，達爾文的工作對他的表兄弟高爾登爵士有深遠影響，高爾登比達爾文更有數學素養，他開始利用機率工具分析生物現象，對生物計 量學的基礎做出了重要貢獻（可以稱他為生物資訊學之父吧），高爾登爵士是第一個使用相關和迴歸這兩個重要概念的人，他還是中位數和百分位數這種概念的創始 人。

　　受高爾登工作影響，在倫敦的大學學院工作的卡爾-皮爾遜開始把數學和機率論應用於達爾文進化論，從而開創了現代統計時代，贏得了統計之父的稱號，1901年Biometrika第一期出版（卡-皮爾遜是創始人之一）。

　　5，關於總體和樣本

　　在早期文獻中可找到由某個總體中抽樣的明確例子，然而從總體中只能取得樣本的認識常常是缺乏的。 ----K.皮爾遜時代

　　到十九世紀末，對樣本和總體的區別已普遍知道，然而這種區分並不一定總被堅持。----1910年Yule在自己的教科書中指出。

　　在 1900年代的早期，區分變的更清楚，並在1922年被Fisher特別強調。----Fisher在1922年發表的一篇重要論文中《On the mathematical foundation of theoretical statistics》，說明了總體和樣本的聯絡和區別，以及其他概念，奠定了“理論統計學”的基礎。

　　6，期望、標準差和方差

　　期望是一個比機率更原始的概念，在十七世紀帕斯卡和費馬時代，期望概念已被公認了。K.皮爾遜最早定義了標準差的概念。1918年，Fisher引入方差的概念。

　　力學中的矩和統計學中的中數兩者之間的相似性已被機率領域的早期工作者注意到，而K.皮爾遜在1893年第一次在統計意義下使用“矩”。

　　7，卡方統計量

　　卡方統計量，是卡-皮爾遜提出用於檢驗已知資料是否來自某一特定的隨機模型，或已知資料是否與已給定的假設一致。卡方檢驗被譽為自1900年以來在科學技術所有分支中20個尖端發明之一，甚至敵人Fisher都對此有極高評價。

　　8，矩估計與最大似然

　　卡-皮爾遜提出了使用矩來估計引數的方法。

　　Fisher則在1912年到1922年間提出了最大似然估計方法，基於直覺，提出了估計的一致性、有效性和充分性的概念。

　　9，機率的公理化

　　1933年，前蘇聯數學家柯爾莫格洛夫（Kolmogorov）發表了《機率論的基本概念》，奠定了機率論的嚴格數學基礎。

　　10，貝葉斯定理

　　貝葉斯對統計學幾乎沒有什麼貢獻，然而貝葉斯的一篇文章成為貝葉斯學派統計學的思想模式的焦點，這一篇文章發表於1763年，由貝葉斯的朋友、著名人壽保險原理的開拓者Richard Price在貝葉斯死後提出來的----貝葉斯定理。

　　概 率思想的兩種方法，（1）作為一個物理系統內在的一種物理特性，（2）對某一陳述相信程度的度量。 在1950年代後期止，多數統計學家採取第一種觀點，即機率的相對頻數解釋，這一時期貝葉斯定理僅應用在機率能在頻數框架內解釋的場合。貝葉斯統計學派著 作的一個浪潮始於1960年。自此，贊成和反對貝葉斯學派統計的兩方以皮爾遜和費舍爾所特有的激情和狂怒進行申辯和爭辯。

　　在1960年以前，幾乎所有的統計書刊都避免使用貝葉斯學派方法，Fisher堅持避免使用貝葉斯定理，並在他的最後一本書中再一次堅決的拒絕了它。卡爾-皮爾遜偶然使用，總的來說是避免的。奈曼和E.S.皮爾遜在他們有關假設檢驗的文章中堅決反對使用。