Mùa đông năm ấy, giặc Từ Văn Chiêu đến đánh đồn Mỹ Ý, Duyệt sai liệt
tướng là Trịnh Ngọc Trí ra đánh, mình tự đem binh giáp đánh mà tan được
giặc. Duyệt từ khi Tống Viết Phúc chết trận, Duyệt tức giận đánh giặc càng
khỏe, khi hành quân ai hơi lui là đem chém ngay, không rộng tha ai. Mỗi
khi thắng trận giết hết giặc, nói rằng để làm lễ tế Tống công vậy. Vua lo
Duyệt giết hại quá, dụ răn Duyệt.
Năm Nhâm Tuất (1802), mùa xuân, Quang Toản đến đánh Động Hải thua
to, dẫn quân đi. Duyệt cùng Thành hợp quân tiến đánh thành Bình Định,
quân giặc xạt. Tháng 3, quân Diệu Dũng hết lương ăn, đem quân trốn đi
ban đêm, theo đường rừng đi. Thành đuổi theo, quân giặc hàng hơn 3000
người. Quân ta lấy tại thành Bình Định. Duyệt cùng Chất vâng chiếu ban
sư, Thành lưu giữ đất ấy. Hai người tự Bình Định về, vua úy dụ giờ lâu, ban
cho áo mũ.
Tháng 5, dựng niên hiệu là Gia Long năm thứ nhất, bàn đem đại quân ra
đánh Bắc Thành. Duyệt được thăng Khâm sai chưởng tả quân doanh Bình
Tây tướng quân. Cùng Chất lĩnh quân bộ đi trước. Quân qua Hoành sơn,
cùng giặc đánh nhau ở Đinh Cầu, giặc thua chạy. Đến Vĩnh Doanh lại đánh
hai trận. Ngụy Trấn thủ ở Nghệ An là Nguyễn Văn Thận bỏ thành chạy đến
Tiên Lý, Duyệt tiến quân đuổi theo, Thận chạy ra Thanh Hóa, quân theo
đến nơi Thận đón hàng. Quân ta thừa thắng đuổi tràn, đi đến đâu, giặc như
gió lướt. Lũ Diệu Dũng tự đường núi ngầm về cũng bị thổ dân bắt giải đến
quân thứ. Quân vua tiến lấy được Bắc Thành. Nguyễn Quang Toản cùng
thân đảng đều bị quan quân tìm bắt. Duyệt bèn cùng chư tướng vâng chiếu
chỉ đi chọn quan các trấn.
Tháng 10 , hầu xe vua ra Kinh, làm lễ cáo võ công đã xong. Năm thứ 2
(1803), phát chư quân khắp Kinh thành, Duyệt tâu rằng: "Trước ở Gia Định
truyền dụ tướng sĩ hẹn rằng lấy lại Kinh thành lập tức cho quân về nghỉ
ngơi, nay Kinh thành đã lấy lại, Bắc Hà đã định, hoặc chuyển đi thu thành
trấn, hoặc lưu khắp Kinh thành, liền mấy năm chưa có hẹn về thì đối với tín
