其實，官府起初並不泛稱「衙門」，「衙門」是由「牙門」轉化而來的。「牙門」是古代對於軍旅營門的別稱，據說取義於《詩經》“祈父，予王之爪牙”一語。祈父，是大司馬一職的古稱，執掌國家的軍事和武衛，乃王者的左膀右臂，其儀仗“像猛獸以爪牙為衛，故軍前大旗謂牙旗”，用猛獸的爪牙象徵王者的武衛，取其勇猛之意。為了把這種象徵表示出來，起初把猛獸的爪牙列飾在軍事長官辦公的地方，比如中軍營帳門前。後來用木頭刻畫大型的象徵性獸牙於營門兩側，於是便有了「牙門」，但並沒有成為官府的代稱。

「牙門」演變成「衙門」，相關文字記載最早見於《晉書 王浚傳》，其傳雲：“時有八百餘人，緣石頭城劫取布帛，臣衙門將軍馬潛，即收得二十餘人。”是作為馬潛的職稱出現的，此時依然和官府之間尚沒有形成任何關係。

「牙門」演變成「衙門」並正式成為官府的代稱，大致起始於唐。唐代封演的《封氏聞見記》比較詳細地考證了「衙門」的由來。封演說：“近俗尚武，是以通呼公府為公牙，府門為牙門，字稍訛變轉而為衙也。”由此可見，唐以前人們是不把官府稱衙門（或牙門）的，由於時俗尚武，官府也以帶點武夫氣概為榮，所以官府始稱牙門。從上可知，「衙門」是由漢字的訛變、演變而產生的。