這句話出自於《論語》，它的意思是女子與小人這兩類人難以自我修身養性，所以最好與他們保持適當距離。《論語》這本書記載了許多孔子以及他一眾弟子的言行，故而這本書被奉為儒學經典。《論語》這本古籍共劃分為二十個部分，其中“唯女子與小人難養也”這句話是出自於其中的第十七篇《陽貨》。這一部分的主要內容是孔子對仁德的看法，並藉此針對“禮樂治國”這一主張進行進一步闡發。

這句話中的“唯”字其實並無實際意義，在孔子所處的春秋時期它就相當於一個語氣詞。接下來的“女子與小人”很多人都會將其解釋為女性與品行不端的小人，之後的“難養也”則是表示難以培養。至於難以培養的東西自然是指浩然正氣以及良好的品性。所以這一整句話的意思就是“女子與小人很難培養自身的心性”。所以孔子認為在面對這兩類人時經常會出現“近之則不遜，遠之則怨”的情況。

不過這句話的這個解釋一直以來頗有爭議，因為大家很不能理解孔子為何會如此評價女性。隨著社會的不斷進步，關於“唯女子與小人難養也”這句話出現了一種全新的解釋。有學者認為這其中的“女子”其實並非是指代女性。“女”這一字其實通“汝”，其意為“你”。而“子”這一字的意思則是“孩子”。除此之外，這句話不應該連起來看，而是應該按照“唯女子與小人，難養也”這樣的斷句方式來進行解讀。

如此一來，這句話的意思就變成你的孩子如果與小人相處，就會變得難以修身養性。前後兩種解釋相比較而言，後一種解釋其實更為合理，畢竟孔子沒有理由將女子與小人劃分為同一類。

唯女子與小人難養也，完整表述見於《論語·第十七章·陽貨篇》:"唯女子與小人為難養也，近之則不遜，遠之則怨。

註解：

(1)唯，語氣助詞，無實意。

(2)女子:並非泛指女性，特指"人主"所寵幸的身邊人。

(3)小人:陰私滿腔，與君子恰好相反之人，論語裡稱這類人為"小人"。

(4)養:古代的"養"字，指修身養性，這裡的"養"是指培養，修養，養浩然正氣，養身、心、性、命。("身"、"心"、"性"、"命"的理解，要參照儒家另一經典《大學》。)

(5)孫:通"遜"，有規舉。"不孫"意思就是容易無禮，壞了規矩。

孔子說:"女子與小人，他們都很難培養自己的浩然正氣，難養身、心、性、命，所以與之相處要有遠近分寸，太近了容易失禮，壞了規矩;過於遠離，又容易招致怨恨，而不利於儒學的傳承。"唯女子與小人為難養也"是貶低女人和小人於理不通。他是愛人的人，是化解矛盾的人，而非製造矛盾的人，所以"唯女子與小人為難養也"是貶低女人和小人於理不通。