馮·諾依曼計算機的軟體和硬體完全分離，適用於作數值計算。

這種計算機的機器語言同高級語言在語義上存在很大的間隔，稱之為馮.依曼語義間隔。造成這個差距的其中一個重要原因就是儲存器組織方式不同，馮·諾依曼機儲存器是一維的線性排列的單元，按順序排列的地址訪問。而高階語言表示的儲存器則是一組有名字的變數，按名字呼叫變數，不考慮訪問方法，而且資料結構經常是多維的（如陣列，表格）。另外，在大多數高階語言中，資料和指令截然不同，並無指令可以像資料一樣進行運算操作的概念。同時，高階語言中的每種操作對於任何資料型別都是通用的，資料型別屬於資料本身，而馮.諾依曼機的資料本身沒有屬性標誌，同一種操作要用不同的操作碼來對資料加以區分。這些因素導致了語義的差距。如何消除如此大的語義間隔，這成了計算機面臨的一大難題和發展障礙。馮.諾依曼體系結構的侷限嚴重束縛了現代計算機的進一步發展，而非數值處理應用領域對計算機效能的要求越來越高，這就亟待需要突破傳統計算機體系結構的框架，尋求新的體系結構來解決實際應用問題。目前在體系結構方面已經有了重大的變化和改進，如平行計算機、資料流計算機以及量子計算機、 DNA計算機等非馮計算機，它們部分或完全不同於傳統的馮.諾依曼型計算機，很大程度上提高了計算機的計算效能。