第一種說法：

胡三太爺，真正的名字是胡嶧陽。《青島市志》的《嶗山志》人物部分，做了如下介紹：

胡嶧陽，名良桐，更名翔瀛，字嶧陽，號雲嶼處士，清即墨城陽人。約生於明崇禎十二年（1639年），少年時就讀於窪裡、慧炬院，清順治十年（1635年）16歲應童子試時，守門人強令其解衣搜身，他怒不受辱，拂袖而去，法是終生不應試，以後設館授徒為生。

因其精通易經，而又經常顯靈出來救人治病，後人設廟供奉。

第二種說法：

清康熙年間，康熙皇帝微服私訪來吉林某地，途中遇猛虎襲擊，隨從驚散，危機之中，一青年騎白馬忽然出現將老虎射殺，因為救駕有功康熙皇帝想厚賞青年，青年笑著推辭，騎馬離開，康熙皇帝問其姓名，青年邊走邊說，因其走的很快，皇帝只聽到前面兩個字胡三，因其來無影、去無蹤康熙認為是神仙相助，便命人建廟築像供奉，因為不知道名字，便稱其為胡三太爺以示尊重。奉旨築像之人沒有見過三太爺，就根據皇帝的稱呼和描述，胡三太爺將其鑄成老年人形象，以便與其太爺名字相符，並新增一位胡三太奶相伴。

第三種說法：

和第二種說法相近，只是主角是唐朝的唐太宗李世民。

第四種說法：年代不詳，東北疫病爆發，死人無數，朝廷都無奈，後來很多人夢見一對夫婦自稱是狐仙出來送藥，吃過藥的人第二天都好了，疫情很快就過去了。為了報答狐仙救命之恩，眾人集資建廟供奉恩人，因為不知道名字，就根據某個人夢裡聽見胡三太奶稱呼胡三太爺為三哥，起名胡三太爺以示敬重。