黃飛鴻生前有四個妻子，現有3個孫子和6個孫女。25歲那年，黃飛鴻迎來了第一次婚姻。當時黃飛鴻和父親靠開武館收徒弟過日子，生活較以前安定許多。黃飛鴻的結髮妻羅氏，是廣州市西城一戶普通百姓的女子。不幸的是婚後僅僅三個月便得病身亡。次年經媒人介紹，黃飛鴻娶妻馬氏，馬爲廣州市一鹽商之女，長得漂亮、爲人賢慧。婚後三年，爲黃飛鴻生下漢林、漢森兩個兒子。此時的黃飛鴻家庭幸福，志得意滿，經營着“務本山房”武館。滿以爲可以和愛妻白頭到老，可惜好景不長，馬氏得怪病身亡，身爲七尺男兒的黃飛鴻失聲痛哭。並因此打算不再娶妻，一直單身過將近10年的日子。直到後來開設寶芝林藥店，已到中年的黃飛鴻續娶岑氏。令黃本人以及親朋好友都不曾料到的是，在生下漢樞、漢熙兩個兒子後，岑氏步前面兩人的後塵，再次撒手西去。
