潘姓是一個多源的姓氏，其主要來源有以下五支：其一，以邑為氏。

系出自姬姓，是周文王第15子畢公高的後裔。西周初年，畢公高之子季孫(或曰伯季)食採於潘，因以為氏。潘地究在何處，史無明載，當在今陝西北部某地。其二，以國為氏。春秋時期有一個潘國，其地約在今淮河流域的河南固始一帶。潘國後來為楚國所並，設定潘邑。潘國子民遂以原國名為姓，以表達對故國的思戀之情。其三，以字為氏。系出自羋姓，具體出於何人不詳，後因故改姓潘。楚成王時，太子商臣的老師潘崇即是此支潘姓發展初期的傑出人物。潘崇在商臣繼位後任太師之職，使潘姓成為楚國望族。其四，少數民族改姓。北魏孝文帝遷都洛陽後，鮮卑族的三字姓破多羅氏被改為潘氏。其五，賜姓潘氏。清朝康熙末年，臺灣岸裡大社(今臺中市神崗)酋長阿穆歸順清廷，被賜姓潘。光緒年間，臺灣高山族人相繼歸附清廷，被賜姓潘。發展至今，臺灣高山族中，潘姓已成為人數最多的姓族。

潘姓沒有皇家血統。潘姓源於姚姓，是上古舜帝姚重華後裔，是以國名為姓。《史記》《中國姓氏》記載，舜帝生於姚墟，因姓“姚”，建都於潘地（今北京延慶）。後將潘地移至今陝西省興平。商王朝時期，舜帝后裔建有潘子國，到殷商末期被周文王所滅，其子孫遂以國名為姓氏而姓潘。

第四個淵源：源於地名而得姓。潘水在河南，住在潘水邊的人以水地名為姓。下雒城西南故潘城，有以地為氏者 。