根據歷史記載杜牧有兩個老婆，一個是裴氏，她是郎州刺史裴偃的女兒，家世非常顯赫，跟杜牧在一起也算是門當戶對了，但他們兩個人的婚姻並不是很長久，裴氏在杜牧之前就去世了。還有一個是崔氏，歷史上並沒有對其進行過多的記載，但家世也一定非常不錯。

這兩個妻子生前都為杜牧生下過子嗣，正室妻子生下了三個孩子，其中一個兒子早夭了。後來繼室崔氏又為他生下了三個兒子，可見當時他們比較恩愛，不然也不會為杜牧生下那麼多的孩子。

雖然家中有貌美如花的妻子，但杜牧還是對外面的歌女比較感興趣，可能因為自己是個貴公子吧，天生就多情。在他剛考中進士的時候結識了喜歡詩詞的沈述師，那個時候他老愛往沈家跑，因為那裡有好多的歌姬跳舞，他甚是喜愛。

他還對其中一個長相比較俊美的歌姬張好好動了情，可惜沈家的公子也非常喜歡她，所以提前把她納為小妾了，杜牧只能獨自悲傷，後來還為她寫了一首詩紀念。

有一次他去湖州遊玩，聽說當地有很多的美女，所以就想見識一下，所以湖州刺史崔君素就把當地所有的名妓都叫到杜牧跟前了，但他一個也沒看上。後來在人群中他發現了一名老婦領著一個女子，非常漂亮，所以想和她成親，於是就立下了一個十年之約。但是十年過後他還是沒有來迎娶這個女孩子，最終她就嫁人了，再見的時候杜牧非常後悔。

還有一次杜牧跟著名詩人張祜在一起喝酒，兩個人同時看中了一位美女，但是又不能硬搶，所以就開始賭，用骰子來分出勝負，然後再決定這個女人歸誰。

杜牧一共娶過兩個老婆，她們分別是裴氏和崔氏。其中裴氏是杜牧的結髮妻子，她是郎州刺史裴偃的女兒，家庭條件十分顯赫，和杜牧在一起也算是門當戶對，而且兩人婚後的感情一直都很甜蜜。裴氏和杜牧的婚姻沒能走到最後，裴氏陪伴杜牧沒有幾年就去世了。裴氏為杜牧生了三個孩子，其中有一個兒子剛出生不久就天折了，這也讓裴氏的性格開始變得很內向。沒過多久，裴氏也離開了人世。

後來杜牧又娶了第二位妻子崔氏，不過在歷史上對於崔氏沒有過多的記載，崔氏的家庭條件也很不錯。杜牧當時是在一次朋友舉辦的筆會上認識的崔氏，當時便對她一見鍾情，於是杜牧開始追求於她。

崔氏嫁給杜牧以後，兩人的感情也十分恩愛。杜牧對家庭、對家人都是很體貼的，崔氏為他生了三個兒子。

杜牧的妻妾

裴氏為郎州刺史裴偃之女，死於杜牧之前

杜承澤長子，字浚之，早亡。

杜晦辭二子，（837--？）字行之，小名曹師，母裴氏，曾任：左補闕，史部員外郎，淮南節度判官，曾隱居於陽羨水榭（江蘇宜興別墅）。

杜德祥三子，（841--？）字應之，小名祝柅，母裴氏，曾任：御史中丞，禮部侍郎，知貢舉。

杜蘭繼室子，（847--？）繼室崔氏所生。

杜興繼室子，（849--？）繼室崔氏所生。

杜真繼室女兒 ，（850--？）繼室崔氏所生。