Nhâm Tuất, năm Gia Long thứ nhất, đem đại binh ra đánh ngoài Bắc,
Thường đem quân tới Nghệ An, đi vòng ra Hương Sơn và La Sơn để làm
kỳ binh. Khi lấy được Nghệ An, vua đóng ở Thăng Long, cho triệu Thường
tới nơi hành tại. Khi vua quay về cho Thường lĩnh Binh bộ ở lại Bắc
Thành. rồi sai đi Sơn Tây tuyển binh. Mùa xuân năm Quý Hợi (1803) nguỵ
Thượng thư là Ngô Nhậm, Phan Huy Ích, Nguyễn Gia Phan ra thú, đưa giải
vào kinh. Thường dâng sớ nói là: "Bọn Nhậm là bề tôi nhà Lê, nỡ cam tâm
thờ giặc, đặt lời dối trá để lừa bịp nước Thanh, hãm đồng loại vào con
đường bất nghĩa. Xét về tội ác lấy hết tre (ở núi Lam sơn) cũng khó biện
hết tội. Thực là người có tội trong danh giáo, nếu không giết đi, lấy gì để
răn bảo người sau". Bèn sai đưa cho thành thần xét tội. Nguyễn Văn Thành
cho là: Bọn Nhậm tội cố nhiên là đáng giết, nhưng nguỵ quan ra thú được
miễn tội, đã có chiếu chỉ rõ ràng, không nên thất tín. Bèn đem ra trước Văn
miếu phạt đánh roi rồi tha. Khi ấy bị phạt đánh roi có ba người, riêng độc
mình Nhậm bị đau quá chết, đó là Thường giận bảo vậy. Mùa thu năm ấy,
giặc Tầu Ô quấy nhiễu Quảng Yên, Thường cùng các tướng đem binh đuổi
đánh giặc phải chạy. Mùa xuân năm Bính Dần (1806), Thường vào hầu,
vua đem việc đổi sở thường hành ở Bắc hỏi Thường. Thường thưa rằng:
Người thường thì quen về thói cũ mà không biết tuỳ nghi, kẻ học giả thì
câu nệ về kiến văn mà không biết thông biến. Vì thế thánh nhân đối với
dân, chỉ có thể làm cho thành về sau, mà không thể cùng lo tính lúc mới
làm, chỉ để cho họ theo thế mà làm không nên để cho họ biết là tại sao.
Việc cải biến phong tục phải dần dần, đó là cốt yếu của việc làm chính trị,
vua cho là phải, rồi xuống chiếu đổi sửa hộ tịch ở Bắc Thành. Năm Mậu
Thìn, Thường làm Tổng lý việc đê chính ở Bắc Thành. Mùa thu năm Kỷ Tỵ
cho triệu về kinh, đổi bổ làm Binh bộ Thượng thư, lại sai về coi giữ binh
tào ở Bắc Thành. Mùa đông năm Canh Ngọ lại triệu vào kinh lĩnh chức ở
kinh.
Thường cùng Lê Chất vốn có hiềm khích, Chất được tước quận công,
Thường nói với người ta rằng: "Chất mà được quận công thì bọn ta đáng
