安倍晉三家族在古代日本，一直是有權有勢的地方小貴族。近代以來，安倍家族日漸衰微。而家族的再度復興，要從安倍晉三的曾祖父安倍彪助說起。

安倍彪助是山口縣大津郡名門望族家——椋木家的少爺。但由於是庶出，因此沒資格繼承家產，為求得生存，安倍彪助選擇入贅，娶了安倍慎太郎的妹妹。安倍慎太郎生活的時代，正值日本明治維新，地方通過選舉，向中央國會推薦議員，安倍慎太郎德高望重，在山口縣議會選舉中，以高票當選議員，眼看就要進入東京政界，結果卻病死了。

安倍慎太郎雖然死了，安倍彪助在政壇上的靠山，也就隨之喪失了。但好在安倍慎太郎家的鉅額財富，全部留給了安倍彪助夫妻及兒子安倍寬，也就是安倍晉三的祖父。安倍寬（1894—1946年）是含著金鑰匙出身的，從小受到了良好的教育，畢業於東京大學法學部，為進入政界，他迎娶了陸軍大將大島義昌的孫女，生下了兒子安倍晉太郎，也就是安倍晉三的父親。

大島義昌是日本老牌政治家、軍事家，是甲午中日戰爭的罪魁禍首，又屢次入侵中國東北，打敗沙皇俄國，出任首任關東都督府總督，在軍國主義盛行的日本，他就是軍政兩界的大紅人，本來安倍寬可以籍此，在政壇謀得一席之地，可就在這時，兩家鬧矛盾，安倍寬和妻子竟然離婚了，帶著兒子回到了山口縣。

安倍寬畢竟是精英。憑藉傑出的才華，1937年當選眾議員議員。當時日本軍國主義十分猖獗，但安倍寬卻特立獨行，是一位忠實的反戰主義分子。他每日避開日本憲兵隊的檢查、甩掉秘密警察的跟蹤，奔走於大街小巷，向日本民眾宣傳反戰思想，宣傳惟有走和平之路、永遠放棄戰爭才能救日本。直到1946年病逝。