一種由來說法是:中國是豆腐的故鄉，最早製造豆腐的相傳是西漢的劉安，自豆腐問世以後，由於它的營養價值以及“白如純玉，細若凝脂”，成為百姓喜歡的一道美食。相傳古代長安街頭集市上，也有很多賣豆腐的吃食攤，但是由於賣豆腐的人多，而且豆腐攤是小本經營，小生意一天下來也賺不了幾個銅板。唯有一對小夫妻開的豆腐鋪生意特別的好，人來人往絡繹不絕，為什麼這家攤生意這麼好呢？原來這對小夫妻有她自己的生意經：老闆娘人非常漂亮，長的細皮嫩肉，肌膚如白玉豆腐一般，老闆娘就拿自己做起來活廣告，翹首弄姿，賣弄風騷。周邊的老男人們經不起誘惑，總是有事沒事過來買個豆腐順便蹭幾下老闆娘或者摸摸老闆娘小手，老闆娘嘛為了生意也是半推半就，時間長了，大家都稱老闆娘為“豆腐西施”，慢慢的，蹭啊，摸啊，吃豆腐就成了輕薄卡油的代名詞了。

還有種說法是：古代逢家中有人逝世以後有一個習俗，那就是吃豆腐飯，為什麼稱之為豆腐飯呢？因為飯菜以素食為主，豆腐首當其衝。那為什麼要辦這個豆腐飯呢？一是古代的一種習俗流傳至今，另一種就是，替喪家抬棺材，辦喪事的小工們忙了一天所提供的吃食，，但是呢，古代很多老百姓窮啊，很多地方溫飽都解決不了，一般喪家辦喪事幫忙的人數都比較多，互相有很多都不認識，這樣一來總會有人著臉皮去蹭“豆腐飯”。時間久了，吃豆腐飯也就是成了佔便宜的說辭。

上世紀30年代開始，上海就開始流傳這句頗具幽默而帶諷刺的新詞兒了。生活中比較典型而常見的，是個別男同志愛跟女性調笑，甚至動手動腳佔點便宜的，就被人稱之為“吃豆腐”。