這個說法應該是從唐朝開始慢慢流傳的，之後漸漸演化成指妻子出軌的可憐男人。綠帽子一開始也不是我們現在心知肚明的這個意思，其實古代人一直不喜歡這個顏色，古人喜歡的是正色，也就是紅黃藍白黑這五種顏色，而混合出來的顏色比如綠色，就被認為是個低賤的顏色，在唐代，綠頭巾就是地位底下的人特殊的裝束，而如果官吏有罪，也會讓他穿綠色的衣服懲罰。

還有一種說法認為“綠帽子”是偷情的暗號，這來源於一個民間故事。相傳有位孤單寂寞冷的少婦，因為老公經常出門做生意，在家就和一個買布的小販暗通款曲，廝混在一起，那古代也沒什麼電話手機好約偷情時間，而丈夫是出遠門還是就去菜場買個菜情夫也不好掌握，有一天差點被抓個現場。

所以那婦人就想出給主意，給老公做了一頂綠帽子，出遠門的時候就讓它給戴上，可憐的傻瓜丈夫還以為老婆體恤他，美滋滋的就戴上出門了，他出門了，那情夫就登堂入室，和他老婆行不軌之事。想那可憐的綠帽子丈夫估計是最後一個知道老婆出軌的，當他得意洋洋的帶著綠帽子穿街過巷的時候，街坊鄰居都在指指點點“快看那個戴綠帽子的男人，真是個傻瓜哈哈哈”，著實可憐。