因為舊日本海軍對1936年1月份服役的九五式艦上戰鬥機並不滿意，所以開發了九六式艦上戰鬥機。

九五式艦上戰鬥機

20世紀30年代中期，各國都在研製單翼飛機，來取代原先的雙翼飛機。1934年，日本中島飛機制造廠設計的九五式艦上戰鬥機首飛，隨後開始進行相關測試。九五式艦上戰鬥機，是九零式艦上戰鬥機的改進版本，它與九零式的外觀高度類似，都是雙翼結構，只不過因為換裝了功率更大的中島光一型發動機（提供730匹馬力），所以發動機罩更大一些。

九六式艦上戰鬥機

在九五式艦上戰鬥機進行測試的過程中，舊日本海軍方面對這款戰鬥機的效能並不滿意。雖然該機的機動性還勉強可以，但是其最大飛行速度，僅為352公里/時，這點讓舊日本海軍方面很難接受（不過後來還是勉強裝備了221架，在實戰中，這些九五艦上戰鬥機表現非常差勁）

因為九五式艦上戰鬥機的效能難以滿足舊日本海軍的需求，所以在九五式艦上戰鬥機測試的同時，也就是1934年，舊日本海軍向三菱飛機制造廠和中島飛機制造廠提出了新戰鬥機的研製計劃，並對效能方面提出幾項要求。舊日本海軍的要求如下：

2.爬升到5000米高度時，花費的時間不能超過6分30秒。

九六式艦上戰鬥機

隨後，中島飛機制造廠和三菱飛機制造廠，就開始按照舊日本海軍的要求，研製新型艦上戰鬥機。

1935年1月，兩家飛機制造廠都按照要求，完成了新戰鬥機的設計工作。中島飛機制造廠的新戰鬥機，是以Ki-11戰鬥機為基礎研製的。這款戰鬥機，雖然採用了低單翼佈局，但是為了降低空氣阻力，採用了薄機翼設計，這就導致機翼強度不足的部分，必須在機身下方設定多條鋼絲來保證強度。而三菱飛機制造廠設計的新戰鬥機，也是採用單翼，但是主翼非常厚，不過三菱利用了更好的設計與蒙皮加工技術，降低了空氣阻力這一問題。

1935年2月4日，在名古屋各務原機場，三菱飛機制造廠研製的新戰鬥機進行了首飛。在這次首飛中，這架原型機的最大速度，達到451公里/時、爬升5000米時，只用了5分54秒，大幅度優於中島飛機制造廠的作品與軍方提出的要求，三菱飛機制造廠奪得了新一代艦上戰鬥機的訂單。

九六式艦上戰鬥機

1936年11月19日，三菱飛機制造廠研製的新戰鬥機，在經過一系列改進後，被命名為九六式艦上戰鬥機（簡稱九六艦戰）。隨後便立刻開始取代原先的九五式艦上戰鬥機，成為了舊日本海軍航空隊的主力戰鬥機。