在第二次世界大戰中，日本的工業水平比歐美列強差遠了。日本陸軍的輕武器十分落後，除了幾種輕，重機槍外，沒有自動武器，而美軍、德軍，英軍，蘇軍都有衝鋒槍和半自動步槍，甚至連中國的國軍嫡系和部分也裝備了不少先進的歐洲產自動武器。

1935年，日本陸軍在實戰中領教中國軍隊衝鋒槍的威力後，方才開始試製衝鋒槍。當時是由中央工業公司的南部槍械廠具體負責這一工作，試製人員將其稱為南部式衝鋒槍，其彈匣可放50發子彈。彈匣呈弧線形，插在槍的左面，為弧形。隨著試製工作的進展，彈匣逐漸被移至左側面並呈水平狀，相仿於德國的MP18衝鋒槍，這是為了臥射時更方便，這一設計方法在世界上是不多見的。最後該槍於1940年定型，正值日本神武紀年2600年，所以起了百式衝鋒槍的名稱，於1941年2月起裝備部隊。百式衝鋒槍為日本陸軍在第二次世界大戰中唯一量產的衝鋒槍。

百式衝鋒槍共分為前期型、後期型和摺疊槍托型三種，產量分別是1000、1萬和數百支。百式衝鋒槍全長900毫米，槍管長280毫米，槍重4.2公斤，射速達到了每分鐘700發，使用8mm南部子彈，可以使用30發或發裝彈的彈匣，有效射擊120米，最大射擊距離600米。百式衝鋒槍的三種型號均裝有雙腳架，其準星是切線型的，從50-600米之間，每50米的射程為一個刻度。後期槍身下不再裝有刺刀柄，而是直接裝在槍頭部位，準星也變得更為簡潔並予以固定，雙腳架也被取消了。與此同時，彈匣也變得更加結實，當然因此也就無法與早期的衝鋒槍互換。這種後期槍型也稱為實戰型，主要是為了使生產工序更簡單。最後的摺疊槍托型是將早期的槍托在衝鋒槍的結構後端形成摺頁式，主要配備空降部隊和駐太平洋部隊。

百式衝鋒槍槍身外附有散熱孔，還安裝了刺刀。這在其他國家的衝鋒槍中是很罕見的。國際上設計衝鋒槍的根本指導思想，是通過密集的火力給敵人以威懾，但日本陸軍卻對白刃戰有著特別的執著，往往在戰鬥的最後階段拚刺刀。戰術思想落後的日本人認為：步槍打得比衝鋒槍準，寧可保證步槍和彈藥的品質，也不浪費寶貴資源造衝鋒槍。另外，生產力有限，無法大量的製造衝鋒槍和彈藥。這使得百式衝鋒槍一直沒有列為步兵標準武器。