據史料記載，紀曉嵐並不是像電視劇裡那樣一點女色都不沾。事實上他有一位正室的妻子，在這之後，他還有六房妾室。他的這些老婆都有一個共同點，她們都是有文采，在詩詞歌賦上有造詣的女文人。紀曉嵐不會像其他男人一樣為美色心動不已，他只追求心靈上的溝通。紀曉嵐的這些老婆給他生了四個兒子，可這四個兒子並沒有像他的父親一樣有出息。

紀曉嵐的兒子不爭氣，但他的十一個孫子 中卻有很是厲害的人。

這些孫子中的一位典型代表就是紀樹馨，他從小就熟讀四書五經，而且做人很是禮讓，同時他在文字和文學方面有很深的造詣。現在我們看到的有關於紀曉嵐警醒世人的言論，都是這個孫子整理出來的。到了第六代第七代，這些紀家的孫子一個比一個出色。中國歷史上的第一位女律師就出自紀家，是紀曉嵐的後代之一。在這之後紀家還出現了不少有名氣的畫家、書法家，紀家的後代把紀家發展的極其風光，做足了光宗耀祖的事情。

　　紀曉嵐的後代很多，不僅在地域上分佈很廣，而且他們在各個職場領域都有涉足，而且做的很出色。