岳飛原本有5個兒子，一個女兒（演義中有兩個女兒）。兒子分別是岳雲，嶽雷，嶽霖，嶽震，嶽霆。

岳飛被秦檜和宋高宗以“莫須有”的罪名殺害以後，朝廷對岳飛的整個家族進行了無恥又殘酷的迫害。岳飛的親人們，他的兒子岳雲與岳飛本人同案處理，遭到了南宋朝廷的殺害。岳雲是岳飛家族除了岳飛以外，最有能力的戰將，16歲就上戰場和父親並肩殺敵。在戰場上，岳雲作戰英勇，曾經以500騎和金兵800騎正面激烈對抗了一天一夜，最後全殲金兵，自己歸隊後，身邊只剩下10幾個人。

岳飛的其他的妻子兒女，被流放到洞庭湖以南，以及福建之北的崇山峻嶺間，幾乎讓他們在這個世界上銷聲匿跡了。民間對岳飛一家的遭遇多有怨言，朝廷的主戰派也議論紛紛，但礙於秦檜的淫威，不敢為之辯白。秦檜死後，主戰派勢力抬頭，加上宋孝宗趙眘的繼位，讓主戰派看見了希望，紛紛上書要求給岳飛平反。

岳飛被平反以後，他的家人也陸續被釋放。在流放途中，嶽雷已經病死。剩下的嶽霖，嶽震，嶽霆三個兒子，後來被朝廷封為武官，繼續為國家效力。他們死後，還被追封為列侯。儘管如此，這三人並沒有在軍事上有太大的貢獻，因為朝廷一直沒有下定決心光復失土。

1141年，宋高宗趙構與秦檜合謀，解除了岳飛的兵權，將岳飛投入大理寺治罪，與金國簽訂了《紹興和議》，宋金戰爭暫時停止，趙構將行在安置於臨安，從此一隅偏安。1142年1月，岳飛被殺害於大理寺獄中，年僅39歲。那麼，岳飛被殺後，他的子女結局如何呢？

據史載，岳飛有兩妻、五子、兩女。岳飛的五子依次為岳雲、嶽雷、嶽霖、嶽震、嶽霆。兩女，長女為嶽安娘，次女嶽銀瓶。岳飛的前妻劉氏，與岳飛生下岳雲、嶽雷二子。岳飛從軍後，安排妻子劉氏照顧母親，岳飛和劉氏感情不好，劉氏也似乎不太安心寂寞，曾兩度改嫁，後來嫁給了韓世忠的部下，韓世忠通知岳飛來領人，岳飛沒來領，但讓人送了筆錢給劉氏。後來，岳飛續絃的妻子叫李娃，夫妻感情和睦，生嶽霖、嶽震、嶽霆三子。

岳飛就義後，曾隨岳飛南征北戰抗擊金兵的長子岳雲，也與岳飛一起，就義於臨安大理寺。而岳飛的家眷，一部分被流放到洞庭湖以南的蠻荒之地，一部分流放到福建之北的崇山峻嶺之間，其中，嶽雷流放到惠州拘管，岳飛還沒平反時，他就在惠州去世了。

岳飛的其他兒子，岳飛死時都很小，其中嶽霖12歲，嶽震7歲，嶽霆甚至才3歲，兄弟三人隨母親李娃流放嶺南，備受白眼歧視和生活的艱苦。在生活上，朝廷每月僅給少量米糧，條件十分惡劣，生活十分艱苦。而朝廷對岳飛的及其家屬的打壓並未停止，秦檜就曾因嶽州有個岳飛的“嶽”字，特將嶽州改為純州。當時有一位漳州知州還上書，建議朝廷取消對岳飛親屬僅有的一點米糧供應，以斬草除根，李娃帶著岳飛的幾個孩子，所受的痛苦和煎熬是難以想像的。

20年後，宋孝宗繼位，準備北伐，隨即為嶽平反，李娃及三子隨即北歸，李娃此時已經成了老太婆了，兒子們都已成年。

岳飛女兒中，嶽銀瓶最傳奇而剛烈，據說岳飛就義時，年僅13負的她，悲憤難當，竟然投井殉父，自殺身亡，世稱“銀瓶小姐”。