Khi về Việt nam ít lâu, vợ Phương mất sớm, Phương tái hôn với bà Đặng
Hưng Thọ, một dòng họ lớn ở Nam Định. Cô ruột Pháp là Huấn Thị Tánh,
vợ của ông Lê Thành Tường bí thư của Khâm sứ Trung Kỳ. Bà Lê Thành
Tường là một phụ nữ rất sành thơ Đường, một trí thức Tây học. Khi theo
chồng ra Huế làm việc bà Lê Thành Tường có sáng lập tuần báo “Phụ nữ
tân tiến”, khuôn khổ và cách trình bày giống như tờ “Phụ nữ tân văn” ở Sài
gòn. Tờ báo này bán không chạy vì độc giả trí thức phụ nữ quá ít. Luật sư
Phương có 2 người con: Người thứ nhút là Huỳnh Văn Nghĩa, sinh lại Pháp,
phải đổi thành Nguyễn Văn Nghĩa, đậu Tú tài đôi, chỉ giữ việc chép tin ở
phòng chính trị quân khu 8 và 9. Nhà văn Xuân Vũ từng ăn cơm chung và
tâm tình Nghĩa. Con thứ hai là Huỳnh Minh Kiệt, học trường võ bị Trần
Quốc Tuấn Quảng Ngãi, khi biết bộ mặt thật của cộng sản, liền bỏ ra thành,
làm báo “Tin Sáng”.
Thân phụ Huỳnh Tấn Phát là Huỳnh Tấn Đặng, thông ngôn toà án Mỹ
Tho. Về sau, ông nối nghiệp cha quản lý gia sản kếch xù ở Bình Đại.
Huỳnh Tấn Đại lấy vợ cũng môn đăng hộ đối. Thân mẫu Phát thuộc họ
Quảng ở làng Điều Hoà Mỹ Tho. Gia đình này cũng cộng tác đắc lực với
Pháp, con cháu còn lần rát. Đương thời, ruộng đất của họ Quảng chạy từ
sông Bảo Định tới chùa Vĩnh Tràng. Ngày nay, nhiều địa danh ở Mỹ Tho,
Bình Đại, còn rơi dấu tên tuổi và chức phận của hai dòng họ cự phú ấy. Ông
ngoại của Phát là Quảng Duy Cần, xuất tiền trùng tu đình làng Điều Hoà
Mỹ Tho. Ngày nay, đình Điều Hoà là một kiến trúc to lớn, đồ sộ tại địa
phương. Ông tổ họ Quảng có công khai hoang lập ấp, cho nên được tôn làm
thành hoàng làng Điều Hoà. Hàng năm đến lễ Kỳ yên, các chức sắc, ban
quý tế trong đình làng Điều Hoà, phải qua nhà ông ngoại Phái để thỉnh cờ,
bài vị về đình làm lễ trang nghiêm. Sau lễ, đình Điều Hoà còn tổ chức hát
bội 7 đêm liền.
Cậu hai của Phát là ông Quảng Duy Hưng làm trưởng toà ở Mỹ Tho. Ông
này có người em ruột là Quảng Duy Thơ, cũng làm công chức cho Pháp.
Ông Quảng Duy Trinh, con thứ của ông Quảng Duy Cân, làm trong sở công
chánh. Hồi năm 1951, quỹ bồi thường chiến tranh của quân đội Pháp ở
