計算機從設計伊始主要就是用來做數值計算的，馮·諾伊曼體系正是針對數值計算的計算機的經典體系結構。

在20世紀初期，物理學家和電子學家們對用於數值計算的計算機的體系結構存在爭論，十進位制和模擬計算機的體系可能還佔上風。而馮·諾依曼提出了二進位制和數字計算機的概念，更好的適應了數值計算的海量計算需求。

1944年，馮·諾依曼正參加原子彈計劃，其中複雜的計算問題正在困擾著他，而這時第一臺電子計算機ENIAC，沒有儲存器，而且用佈線接板控制。一個偶然的機會，馮·諾依曼知道了ENIAC的研製工作，隨即參加ENIAC機研究小組，之後發表了一個全新的“儲存程式通用電子計算機方案”--EDVAC（Electronic Discrete Variable Automatic Computer）。

EDVAC方案明確奠定了新機器由五個部分組成，包括：運算器、控制器、儲存器、輸入和輸出裝置，並描述了這五部分的職能和相互關係。

馮·諾依曼在方案中提出了兩大設計思想：

一）二進位制

二）儲存程式和程式控制

基本上就是目前大多數計算機設計中使用的基本思想。