於史記載的有五子二女。子岳雲、嶽雷、嶽霖、嶽震、嶽霆；女嶽安娘，配高祚，另有女嶽銀瓶見諸《癸辛雜識》《銀瓶徵》等文獻。

兒子有岳雲、嶽雷、嶽霖、嶽震、嶽靄（霆）。長子岳雲（1119—1142），字應祥，號會卿，劉氏生。他12歲即從張憲軍，隨父親征戰四方，身先士卒，屢建奇功。後被誣入獄，與父和張憲同時被害，時年23歲。冤獄平反後，贈安遠軍承宣使。次子嶽雷，字發祥，號夏卿，又號聲甫，劉氏生。1126年（靖康元年）三月，生於山西平定軍。岳飛在獄中時，嶽雷曾被派去照料其父。父被害後，隨親人被遣送至惠州（今屬廣東省）拘管，還未等到父兄平反，便已在流放地含恨而終。三子嶽霖（1130—1192），字及時，號商卿，母李娃。岳飛遇害時，霖年僅12歲，孝宗皇帝昭雪時，霖32歲。霖廣泛收集父親遺事，其子岳珂在此基礎上編成《鄂國金佗稡編》28卷、《續編》30卷，這是研究岳飛的重要史籍。四子嶽震，字東卿，母李娃。父兄蒙冤遇害，震方7歲，隨母流放。曾任朝奉大夫，後又加封緝忠侯。五子嶽霆，李娃生，初名嶽靄，後宋孝宗為之改名嶽霆，字應時，號君錫。父兄遇害時才3歲，隨母流放。後任修武郎、閤門祗候、奉直大夫。加封續忠侯。