岳飛定罪以後，他的族人是要被株連的。所以，當時死了很多嶽姓的人。但是他的妻子和孩子卻沒有被殺死。這並不是秦檜良心發現，而是宋高宗特批的恩典。宋高宗紹興十一年，臘月二十九日，岳飛死在了風波亭。同時，家人被流放到了非常寒苦的嶺南。這一系列行動都是由秦檜監督完成的。並且還有每個月跟秦檜彙報流放人員的死亡情況。除此之外，他們吃不飽，穿不暖。每個月就給他們一點點糧食。對岳飛家人的監管是最嚴格的編管制度，每個月要向當地的官員彙報情況。這對岳飛的家人是一種深深的折磨。大兒子岳雲跟岳飛一起進入大牢，最後跟父親一起被殺死了。兒子自嶽雷，因為跟岳飛的事情沒有關係，就去大牢裡面照顧自己的哥哥跟父親。岳飛死了以後，她就被髮配到惠州受苦役了，但是卻死在了半路上。這一路上，他們母子四人的日子過得非常艱難，到了惠州他們就只能擠在一個非常小的茅草屋裡面。岳飛還有一個女兒，在他的兄弟和父親被殺害以後，她就奔走於各個地方，為自己的父親喊冤，洗刷冤屈。但是，當時秦檜當道，又有誰會真正的幫著這個孝順的女兒嶽孝娥嶽銀瓶說話呢？經過多年的奔走，沒有任何效果，看盡人世間的黑暗，最終在杭州跳井自盡了。這口井大家就親切地把她叫做孝女井了。

一、岳飛的兩任妻子

岳飛一生有兩任妻子。其中，第一為劉氏，這是岳飛在河南湯陰兩家娶的妻子，劉氏為其生下了長子岳雲和次子嶽雷，後來，因為岳飛常年從軍，加上岳家家境貧困，劉氏撇下岳飛和兩個兒子，改嫁他人。

於是，岳飛後來又在軍中娶了後來的妻子李娃，李娃為岳飛生下3個兒子、2個女兒。

岳飛被害，李娃母子也被秦檜流放到了雲南，一呆就是20年多年。後來，岳飛被南宋朝廷平反，李娃也受到優待，活到75歲高齡才去世。與同時代的大將相比，岳飛對待婚姻非常嚴肅，他一生未納過妾，甚至將同事吳玠曾送來的美女給退了回去。

二、岳飛的兒女們

岳飛一生有5個兒子和2個女兒。

1、他的長子岳雲，先於岳飛，被秦檜遇害。 2、岳飛遇難時，他的次子嶽雷，只有16歲，與母親李娃一起被流放到了雲南。岳飛被平反後，嶽雷在南宋做官，終年78歲。小說裡“嶽雷掃北”的故事，是虛構的。

3、三子嶽霖，在岳飛被平反後，他也回到朝廷當官。嶽霖在當時的學術界很有名氣，與朱熹、張拭等大儒是好友，他的一生，都在蒐集整理岳飛的事蹟、著作。

4、四子嶽震、五子嶽霆，在岳飛遇害時，兩人尚幼，在廬山居住，聽到噩耗以後，他們隱姓埋名，改姓為“鄂”，岳飛平反後，二人也在南宋為官。

5、長女嶽安娘，其事蹟在歷史上沒有相關記載。

6、次女嶽銀瓶，又叫嶽孝娥，歷史上亦無記載。在民間傳說中，她以孝道著稱，在聽說父兄被害的訊息以後，她抱著一枚銀瓶，投井而亡。