黃飛鴻一生結過四次婚，除原配羅氏外皆為續娶，每次都是在妻子去世後重娶。

四個妻子中前三個均有名份，分別是羅氏、馬氏、岑氏，但因陸續死去，因而當時人們迷信黃飛鴻有克妻命，以至於最後在娶莫桂蘭[5] 時不得不以納妾為名成了婚。

1879年 娶妻羅氏，婚後三月羅氏病卒。

約1896年 續娶馬氏為妻，生二女、二子（漢林、漢森），不久馬氏病卒。

約1902年 續納岑氏為妻，生二子（漢樞、漢熙），不久岑氏病卒。

1915年 續莫桂蘭為妾。最後一名妻子莫桂蘭於1982年於香港逝世。

黃飛鴻有四子，諸子中酷愛黃漢森（因其幼時生得肥肥白白，人稱肥仔二），最得黃飛鴻真傳。

1919年 精通武術的次子黃漢森遭妒，往廣西梧州渡任“護勇”時被“鬼眼梁”暗算慘死。當時在一個名叫保商衛旅營當護衛。一名叫鬼眼梁的同事，見飛鴻之子年少，要和他較技並說“我怕黃飛鴻，絕不怕他的兒子。”可是動手僅兩招就被打翻在地，因此懷恨在心。在中秋節晚設法使漢森喝得酩酊大醉，乘機開槍擊斃漢森，反說漢森醉後拔槍殺他，他不得已才自衛誤殺至死，以擺脫罪責。經過此事，飛鴻知道兒子是為了較技才喪生的，痛心之餘，發誓不再教子習武。

黃飛鴻第四子黃漢熙，面孔長得很象父親，但全不懂洪拳，其職業也與武術無關。