當時濠州城中有郭子興、孫德崖等五位元帥，他們之間鉤心鬥角，誰也不服誰，攻佔濠州近半年，竟想不到去擴大地盤，只是死守濠州孤城。

於是，朱元璋回到老家鍾離鄉招兵買馬，不久招募到徐達、周德興等七百餘人。郭子興喜出望外，又封他做鎮撫，讓他來領導這些人。至正十三年（1353年），在五個月的守城作戰中，濠州起義軍死傷較多。朱元璋意識到，幾支起義軍長期待在濠州，不是內訌迭起，便是被敵軍打敗。因此，他決計離開濠州，向外擴大地盤，發展勢力。

至正十四年（1354年）六月，他徵得郭子興同意，只帶領徐達、湯和、吳良、吳禎、花雲、陳德、顧時、費聚、耿再成、耿炳文、唐勝宗、陸仲亨、華雲龍、郭興、郭英等24位貼身兄弟南下定遠討伐。這時定遠張家堡驢牌寨，有民兵三千人，由於缺糧，進退維谷，被朱元璋設計收編。

另外，他還收編了繆大享在橫澗山的義兵二萬餘人。定遠被攻佔以後，朱元璋又招降了當地的馮國用、馮國順兄弟。馮氏二兄弟是讀書人，通兵法，朱元璋十分信任他們，向他們請教取天下大計。馮國用說：“金陵的地理形勢是龍蟠虎踞，是建立帝王都城的風水寶地，可以先攻打下來當作根據地，然後四出征戰。只要倡仁義，收人心，不近財寶女色，要平定天下並不難。”朱元璋言聽計從，將馮留在軍中做參謀以計議大事。

在朱元璋進軍滁州（今安徽滁縣）途中，定遠人李善長又來軍中謁見。地主階級出身的李善長是個文人，頗有智謀，他勸說朱元璋以漢高祖劉邦為榜樣，為人要豁達大度，知人善任，不出五年便可稱王天下。李善長的一席話更使朱元璋立下雄心大志，也使他更加明白讀書人的用處。朱元璋十分信任李善長，將他留在自己身邊出謀劃策。從此，朱元璋對有學問的讀書人特別器重，禮賢下士。

至正十三年（1353年）七月，朱元璋率部佔領了滁州。沒有多久，郭子興率其部萬餘人從泗州來到滁州，看到朱元璋率領的三萬兵馬，號令嚴明，軍容整齊，非常高興。但郭子興沒有遠大理想，只想統領滁州，朱元璋對郭子興說：“滁州乃一山城，舟楫不通，商賈不集，非英雄所居之地。”郭子興這才打消了原來的念頭。不久，朱元璋率軍奪下和州（今安徽和縣），由於他發現士兵染上了搶掠姦淫的惡習，便決心整頓軍紀。他召集諸將，申明紀律，釋放了軍中被搶來的全部婦女，深得百姓擁護。渡江攻下太平（今安徽當塗）後，一士兵違反軍紀，立即被斬首示眾。那時候，群雄稱霸，以荼毒生靈為代價，只是為了換取奢華、享樂的生活，而朱元璋以奪天下為目的，約束軍隊，嚴明軍紀，因其仁義之聲遠近聞名，不少地方舉城歸降，使朱元璋勝出群雄。至正十五年（1355年）三月，郭子興病亡，這時劉福通已經派人把韓林兒接到亳州（今安徽亳縣），立為皇帝，稱小明王，國號宋，年號龍鳳。郭子興死後，郭天敘被任命為都元帥，朱元璋為左副元帥，軍中文告均用“龍鳳”年號。

至正十五年五月，朱元璋因和州缺糧，準備南渡長江奪太平，恰巧趕上巢湖水師李普勝、趙普勝要與朱元璋合作。不久，李普勝想對朱元璋下毒手，從而竊取他的軍隊，卻反被朱元璋灌醉後淹死在江中了。於是趙普勝逃歸徐壽輝，巢湖水師大部分為朱元璋所有。六月，朱元璋取採石、太平，改太平路為太平府，以李習為知府，朱元璋為元帥，李善長為帥府都事，汪廣洋為帥府令史，陶安做令史。這時，又有一批儒士開始受到朱元璋的重用。

朱元璋在取下太平後，便打算攻佔集慶（今江蘇南京）。前面提到，定遠人馮國用早在兩年之前就曾向朱元璋建議攻取金陵，佔領太平後，陶安也說：“金陵是古代帝王的都城，攻取它後就等於佔領了有利地形，從此可以所向無敵。”朱元璋於是決定朝集慶開進。七月，張天攻城失敗，九月，郭天敘、張天再次攻城，由於投降元帥陳野先的出賣，郭、張二帥為元集慶守將生擒遇難。至正十六年（1356年）三月，朱元璋親率水陸大軍，三攻集慶，城破，殺福壽等元將，元水寨元帥康茂才投降。朱元璋把集慶路改名為應天府，置天興建康翼統軍大元帥府。隨後，朱元璋又先後拿下鎮江、金壇。七月，宋政權升朱元璋為樞密院同籤。不久，宋政權又在應天設江南等處行中書省，宋政權以平章授於朱元璋。