胥姓來源有三種說法，分別是學者說、典籍說、家譜說。學者說主張胥姓是上古氏族華胥氏、赫胥氏後代，典籍說主張胥氏祖先為晉國大夫胥臣，而家譜則顯示胥姓來源於姬姓。

在古代，胥姓的望族大多出自於吳興，是中華傳統漢族姓氏之一，在《百家姓》中排名第285位。

胥姓古代來源地是山西。春秋時期，晉國大夫胥臣官拜司空，其子孫後代都在晉國任官職，使得胥氏家族發揚光大，一朝得名。

南北朝、宋、明之際，胥氏族人向今甘肅、山東、河北、江西、江蘇、湖南、安徽、河南、東北、四川、黑龍江、新疆等地拓展，漢唐之間以琅琊吳興為郡望。

典籍《百家姓》把胥氏的“郡望”定在“琅琊郡”：春秋時期（公元前770～前256年）指齊地琅琊（今山東膠南）。南北朝（公元420～479年）時期中原居民南遷，白下（今江蘇南京幕府山）為“客籍”，也叫琅琊郡。《百家姓》編纂於宋朝，說明當時胥氏望族琅琊郡，不是在山東膠南就是在江蘇南京。