自1946年電子計算機問世以來的很長一段時間裡，計算機不僅非常龐大，而且極其昂貴，只有極少數的公司才買得起。那時，人們上機既費時，又費力，很不方便。為了克服這種困難，人們就想到能不能把計算題目要用的資料和程式利用電話線路送到計算機上，而計算結果再透過電話線路送回來?最早實現這個想法的是美國軍事部門。

1950年，美國在其北部和加拿大境內建立了一個地面防空系統，簡稱賽其（SAGE）系統。它是人類歷史上第一次將計算機與通訊裝置結合起來，是計算機網路的雛形。

賽其系統還不能算是真正的計算機網路，因為由通訊線路所連線的，一端是計算機，另一端只是個數據輸入輸出裝置，或稱終端裝置。人們將這種系統稱為聯機終端系統，簡稱聯機系統。聯機系統很快就得到了推廣應用。按照這種方式，人們只要將一個終端透過通訊線路與計算機聯起來，就可以在遠地透過終端利用計算機，好像人就在機房裡面一樣。

除了在科學計算上的應用外，聯機系統在商業上也得到了大量的應用。如用於航空公司的自動訂票系統。航空公司在各售票點的視窗都裝一臺終端，透過通訊線路連到總部的大型計算機上。這樣，總部的計算機隨時可知道每個航班已經發售了多少票，各終端上的售票員也隨時可知道哪些航班還有餘票，大大提高了工作效率和服務質量。

在發展聯機系統的同時，人們也在探索能不能將計算機透過通訊線路連線起來，使得一些計算機上的使用者能夠利用其他計算機強大的計算能力、昂貴的外部裝置和豐富的資訊資源。20世紀60年代，美國國防部高階研究計劃局資助計算機網路的研究，於1969年12月建立了只有4臺主計算機的ARPA網路。這是世界上第一個計算機網路，它就是今天因特網的前身。ARPA網的成功引發了計算機網路研究的熱潮，這些研究為計算機網路的發展奠定了理論基礎。

隨後，以IBM和數字裝置公司（DEC）為代表的各大計算機廠商幾乎都推出了自己的網路產品，但是計算機網路的普及是俗稱個人計算機出現以後的事了。