（一）始於羋姓

源於“羋”（mǐ ）姓，出自春秋時楚國公族“羋潘崇”之後，屬於以先祖名字為氏。公諱崇字道安，楚成王時大夫，穆王立，以其太子宮予公，使為太師，掌國事，環列之尹，楚國大治，有認楚公族後以字為氏，列公為潘姓始祖之一。

潘崇家族由於受到楚王的特別恩寵，故發展特別快，其後裔子孫的足跡幾乎遍佈楚國各地，在古籍中所記載春秋時代的潘氏名人，幾乎都是楚國的人物。今天山東、江蘇、浙江、河南等地，皆有該支潘氏的後裔。

（二）以國為姓

以國名為姓，出於姬姓。畢公高的小兒子季孫封邑在潘。春秋後國滅，其子孫不以姬為姓而以國名為勝，奉季孫為潘姓始祖。又，番，邾國也。夫差取番者，番首姿，又音蒲。還音煩，音盤者即潘氏。

（三）源於姚姓

源於姚姓，是上古舜帝姚重華後裔，是以國名為姓。《史記》《中國姓氏》記載，舜帝生於姚墟，因姓“姚”，建都於潘地（今北京延慶）。後將潘地移至今陝西省興平。商王朝時期，舜帝后裔建有潘子國，到殷商末期被周文王所滅，其子孫遂以國名為姓氏而姓潘。

（四）因地得姓

因地而得姓。水在河南，住在潘水邊的人以水地名為姓。下雒城西南故潘城，有以地為氏者。

（五）鮮卑改姓

北魏孝文帝漢化改革時，改鮮卑破多羅氏為單姓潘。 清康熙末年，臺灣岸裡大社（今臺灣省臺中市神崗）酋長阿穆歸順清廷，被賜姓為潘；光緒時，臺灣高山族相率歸化清廷，也被賜姓潘（這也就是臺灣高山族人大多姓潘的重要原因）。