計算機系統具有層次性，它由多級層次結構組成。從功能上計算機系統可分為五個層次級別：第一級是微程式設計級。這是一個硬體級，它由機器硬體直接執行微指令。第二級是一般機器級，也稱為機器語言級。它由微程式解釋機器指令系統.這一級是硬體級。第三級是作業系統級，它由作業系統程式實現。這些作業系統由機器指令和廣義指令組成，這些廣義指令是作業系統定義和解釋的軟體指令。這一級也稱混合級。第四級是組合語言級。它給程式人員提供一種符號形式的語言，以減少程式編寫的複雜性。這一級由彙編程式支援執行。第五級是高階語言級。這是面向使用者為編寫應用程式而設定的。這一級由各種高階語言編譯程式支援。 除第一級外，其他各級都得到它下面各級的支援，同時也得到執行在下面各級上的程式的支援。第一級到第三級編寫程式所採用的語言，基本是二進位制數字化語言，機器容易執行和解釋。在第四、五兩級編寫程式所採用的是符號語言，用英文字母和符號來表示程式，因而便於大多數不瞭解硬體的人們使用計算機。 層次之間的關係緊密，上層是下層功能的擴充套件，下層是上層的基礎，這是層次結構的一個特點。層次結構的另一個特點是，站在不同的層次觀察計算機系統，會得到不同的概念，。例如，程式設計師在第四層看到的計算機是高階語言機器：系統操作員將第三層看作一個系統級的資源；而硬體設計人員在第一、二級看到的是計算機的電子線路。 層次劃分不是絕對的。機器指令系統級與作業系統級的介面，又稱硬、軟體交介面，常常是分不清的，它隨著軟體硬化和硬體軟化而動態變化。作業系統和其他系統軟體的介面，也不是很清楚的，例如，資料庫軟體也部分地起到了作業系統的作用。此外，某些常用的帶有應用性質的程式，既可以劃歸為應用程式層，也可以劃歸為系統軟體層。