“胡”是中國古代對北方和西方各族的泛稱。戰國後期稱匈奴族為胡或北胡；對位於匈奴族東部的遊牧民族稱東胡；對位於匈奴西部的西域各族稱西胡。漢以後泛指一切外國為胡。晉代的五胡指匈奴、鮮卑、羌、氏、羯。

但是據《元和姓纂》等史籍記載，胡姓可以追溯到上古虞舜的媯姓。胡姓始祖，應當是三千多年前被周武王封為陳地的胡公滿。 胡公滿是虞舜的第三十三代孫，周武王的東床快婿，被封為陳侯。

胡氏以此為源地，即今天的河南省淮陽縣。胡氏還有兩支源於古代的國名。周代有兩個鬍子國：一個在今河南，是西周初分封的周朝同姓諸侯國。它曾參與以楚國為首的聯軍去攻打吳國，後來又跟隨楚國與吳國作戰，楚國回師途中順便吞併了鬍子國。

另一個胡國是歸姓，在魯定公時被楚國滅掉。這兩個鬍子國亡國之後，王族子孫都以原國名為姓，又形成兩支胡氏。在胡氏中，曾經出現過複姓胡母氏。晉代以後，胡母複姓漸漸被“胡”這一單字姓氏所代替。

由於其後世子孫大多改姓為胡，使得胡母複姓所傳日漸減少。胡姓中，除了源自黃帝后裔的這一支外，外族改姓胡的也為數不少。 漢代以後，特別是五胡亂華之時，進入中原的外族，紛紛“改姓胡氏”，為漢族胡氏增添了新的成分，使得後來胡姓的繁衍，又多了一支世系。

至於胡氏的發源地，當然是周初的封地陳國了。此後，其後世子利、逐漸向四處延伸。經過數代的繁衍，先後南達新蔡，北到山西，併成為當時的胡姓望族。 再以後，又由新蔡和山西兩地的胡姓向其他各地遷居、繁衍，致使遍及了全中國。

胡氏南遷，始於西晉末年。胡氏的後代，從中原渡江南下，先遷到安徽，然後又從安徽再遷至福建。甚至還有的從福建遷入臺灣。