白居易的妻子是楊汝士。楊汝士是唐虢州弘農(今河南靈寶)人，字慕巢。元和進士，又登博學宏詞科。歷佐使府。長慶元年(821)，為右補闕。

貶開江令，累遷職方郎中，知制誥。宰相李宗閔、牛僧孺待之甚厚，引為中書舍人。與楊虞卿、蕭澣等相交結，依附權要，上幹執政，下撓有司，為士人求官求科第，皆能如意。開成元年(836)由兵部侍郎出為劍南東川節度使。終刑部尚書。楊氏自其後，貴為冠族。

1、正妻：楊汝士的妹妹。明媒正娶，符合母親的意思而已。 2、初戀情人：湘靈。 白居易11歲時，因避家鄉戰亂，隨母將家遷至父親白季庚任官所在地——徐州符離(今安徽省宿縣境內)。之後在那裡與一個比他小4歲的鄰居女子相識，她的名字叫湘靈，長得活潑可愛，還懂點音律，於是兩人就成了朝夕不離、青梅竹馬的玩伴。到白居易19歲、湘靈15歲時，情竇初開，兩人便開始了初戀。白居易有一首詩名為《鄰女》，追敘了十五歲的湘靈，並讚美湘靈的美麗和她悅耳的嗓音。 貞元十四年（708），白居易27歲的時候，為了家庭生活和自己的前程，他不得不離開符離去江南叔父處。一路上他寫了三首懷念湘靈的詩。分別是《寄湘靈》、《寒閨夜》和《長相思》。由詩中可以清楚地看出，白居易與湘靈經過17年的相處和8年的相戀，感情已經很深了。離別後不但苦苦相思，而且已考慮過結婚問題。但是湘靈擔心她家門第低，攀不上白居易。最後表示了願至天必成和步步比肩行的懇切願望。 貞元十六年初，白居易29歲考上進士，回符離住了近10個月，懇切向母親要求與湘靈結婚，但被封建觀念極重的母親拒絕了。白居易懷著極其痛苦的心情離開了家，貞元二十年（714）秋，白居易在長安作了校書郎，需將家遷至長安，他回家再次苦求母親允許他和湘靈結婚，但門戶大於一切的母親，不但再次拒絕了他的要求，且在全家遷離時，不讓他們見面。他們的婚姻無望了，但他們深厚的愛情並沒從此結束。白居易以不與他人結婚懲罰母親的錯誤，並三次寫了懷念湘靈的詩：《冬至夜懷湘靈》、《感秋寄遠》和《寄遠》。 白居易37歲時才在母親以死相逼下，經人介紹與同僚楊汝士的妹妹結了婚，但直到元和七年還寫詩思念湘靈。例如《夜雨》、《感鏡》等。後來白居易蒙冤被貶江州途中，和楊夫人一起遇見了正在漂泊的湘靈父女，白居易與湘靈抱頭痛哭了一場，並寫下了題為《逢舊》的詩。這時白居易已經44歲，湘靈也40歲了，但未結婚。這首詩裡白居易再次用了恨字，此恨與《長恨歌》的恨不會毫無關係，所以說白居易親身經歷的這段悲劇般的愛情為《長恨歌》打下了基礎。 直到白居易53歲的時候，他在杭州刺史任滿回洛京途中，看到變換舊村鄰而湘靈已不知去向的時候，這段長達35年之久的戀愛悲劇才劃上了離開的句號。 3、還有一個樊素。不是妻子。 白居易的家姬，與小蠻齊名。託白居易之名，聞名遐邇。有詩云：櫻桃樊素口，楊柳小蠻腰。唐文宗開成五年（836年）的春天，此時的