Mậu Tý (1768) thi hương, Dục làm Giám thí lấy Lê Chính Viện, Bạch
Doãn Triều đỗ đầu lúc bấy giờ cho là khoa ấy lấy được người khá.
Quốc phó Trương Phúc Loan thấy Dục là bề tôi tôn thất của nước, có danh
tiếng lừng lẫy, muốn kéo làm vây cánh, bèn gả con gái cho Dục. Dục đứng
đắn, không a dua; Loan ghét, sai người vu Dục mưu phản. Đến khi tra xét
không có chứng cớ gì, bèn bãi chức cho Dục về nhà riêng. Khi đã về nhà,
Dục đặt tên chỗ ở là "Tĩnh Viên đường", ngày ngày cùng mặc khách ngâm
vịnh làm vui, tuyệt không nói đến việc nước. Dục, hay thơ, cao cờ, biết âm
nhạc. Đời truyền rằng điệu Nam cầm của ta(37) là do Dục đặc ra trước.
Năm Tân Mão (1771) Dục mất, thọ 44 tuổi.
Con thứ 2 con của Tứ là Tĩnh, lại có tên là Chính làm Ngoại tả Chưởng
dinh quận công. Năm Giáp Ngọ (1774), mùa đông, theo Duệ Tông Hoàng
Đế vào Nam, năm Ất Mùi (1775) mùa xuân, đi đến Quảng Nam, cùng Tôn
Thất Chất xin lập hoàng tôn Dương làm đông cung để ràng buộc lòng
người. Đông cung đã được lập rồi, lũ Tĩnh đều lệ thuộc vào cả. Rồi Tĩnh lại
theo đông cung vào Bình Định. Mùa thu năm ấy, "giặc" Tây Sơn Nguyễn
Văn Nhạc, sai Tĩnh đi Quảng Ngãi, chiêu dụ quân và dân, liên kết các
người Man. Sau đó Tĩnh bị giặc giết chết.
Con thứ ba của Tứ là Thăng, làm đến Bố chính doanh Trấn thủ Chưởng
doanh quận công. Năm Giáp Ngọ (1774) mùa xuân "giặc" Tây Sơn quấy
nhiễu cướp bóc Quảng Nam, Thăng điều động chư quân đi đánh, nhưng sợ
thế giặc lớn, đương đêm chạy về. Đến lúc quân Trịnh vào Thuận Hóa,
Thăng đến cửa quân Hoàng Ngũ Phúc xin hàng. Sau đó chết.
Con thứ của Dục là Hi. Lúc đầu làm Đội trưởng; năm Nhâm Dần (1782)
theo vào Gia Định, làm quan đến Trung doanh Giám quân.
Con trưởng của Tĩnh là Bân, làm Cai cơ. Năm Quý Tỵ (1773) mùa đông
"giặc" Tây Sơn giữ Quảng Ngãi. Bân đem quân đi chống đánh, không
thắng được phải rút về. Năm Giáp Ngọ (1774) mùa đông, theo chúa vào
Nam, vâng chiếu đi trưng tập quân 6 đạo, đánh nhau với giặc chết trận. Gia
Long năm thứ 9 (1810) truy tặng Chưởng cơ.
Con thứ của Tĩnh là Huy, làm đến Thị trung Hữu nhị Vệ uý lĩnh trấn thủ
Bình Định.