Sau hết lương thực, ông xuống Hậu giang chờ khí giới chở sang. Thế
cùng, lực tận, ông phải giải tán bớt nghĩa binh và về ẩn náu ở Chợ Gạo,
Định-Tường để mưu một cuộc khởi nghĩa khác.
Năm 1863, bị quân đội Pháp bao vây, ông chạy thoát đến Châu-đốc,
nhưng bị bắt giữ lại rồi giao cho Pháp.
Viên Tư lịnh Pháp dụ dỗ ông đầu hàng, nhưng ông nhứt-quyết không
chịu.
Rốt cuộc, ông bị đày đi Côn đảo rồi đưa sang đảo Réunion ở Đông
Nam Phi Châu.
Khi sắp đi đày, ông có làm một bài thơ để tỏ nỗi cảm khái của mình :
Muôn việc cho hay số bởi Trời.
Chiếc thân hồ hải biết đâu nơi !
Mấy hồi lên đạn ra tay thử,
Ngàn dặm non sông dạo gót chơi ;
Chén rượu Tần đình nào luận tiệc,
Vần thơ cố quốc chẳng ra lời.
Cương thường bởi biết mang nên nặng,
Kẻ đứng làm trai chác nợ đời.
Năm 1874, sau khi Nam triều đã ký hòa ước, nhường đứt sáu tỉnh miền
Nam cho Pháp, Thủ khoa Huân được chúng cho về, nhưng để quản thúc tại
nhà Tổng đốc Đỗ-hữu-Phương, tại Cholon, là chỗ quen biết của ông, lại là
một người giúp việc đắc lực cho Pháp.
Ông Phương tổ chức một bữa tiệc long trọng đề mừng gặp lại bạn xưa,
có mời các quan người Việt đã theo chính phủ tân trào đến dự.
Sau bữa tiệc, nhiều người xin ông Thủ Khoa cho một bài thơ để kỷ
niệm.
Ông tức cảnh và làm bài bát cú như sau :
