Tổng đốc Ninh Thái, sung Kinh lược những đạo: Ninh, Thái, Lạng, Bình,
cho 30 lạng bạc và phái 1500 lính đi theo. Trọng Bình mang cờ tiết ruổi
đến Bắc Ninh, Cao Bằng, lại bị giặc hãm con đường chở lương không
thông, liền bầy cách vận chở tiếp tế rồi tiến quân ở Quang Lang (thuộc
Lạng Sơn). Giặc bỏ đồn trốn ngay ban đêm, đường trạm lại thông đồng,
chuyển tới thành Lạng, đưa hịch cho các thân hào tỉnh Cao Bằng tụ họp
quân nghĩa dũng, hoặc giữ đất đóng ngăn để chống chọi, hoặc đặt phục
binh đón đánh để phá hoại. Rồi tự đem đại binh đóng đồn ở phố Cầu
Phong, giặc đánh úp lúc không ngờ, quân ta liền vỡọng Bình lại thu quân
cố sức đánh bèn được.
Năm thứ 19 (1866) tới kỳ 3 năm xét công tội, vua cho Trọng Bình là người
liêm cần mẫn cán, đến đâu cũng được tiếng, tiến thự Hiệp biện đại học sĩ
lĩnh chức như cũ. Tháng 3 năm ấy thu phục được Cao Bằng, bọn phỉ mục
là: Trương Cận Bang, Lưu Sỹ Anh, Hoàng Trung, Ngô Hòa Khanh lần lượt
tới cửa quân hàng. Trọng Bình ban sư về Bắc, xin: "lựa những tên giặc
hàng mà khoẻ mạnh lấy 200 tên dồn làm đoàn Hướng nghĩa, đặt tên đầu
mục để kiềm thúc và phái tới nơi quân thứ tỉnh Thái. Ông lại mưu tính việc
nên làm sau này có 4 điều: 1 cho dân vay tiền mua đồ binh khí; 2 phái quân
đóng giữ cho thay đổi về Nghệ An; 3 lựa chọn thổ hào làm quản đồn, đứng
mộ quân nghĩa dũng coi giữ; 4 khuyên thổ hào mộ lập quân đồn điền". Bấy
giờ các tỉnh ở Bắc Kỳ, về vùng biên giới luôn luôn báo động, nên đều dâng
sớ xin cho đặt thành trì các phủ huyện và mộ quân nghĩa dũng, cấp súng
ống để nghiêm việc phòng bị. Vua cho là nhọc dân, chuẩn giao Trọng Bình
cùng Tổng đốc Sơn Tây Nguyễn Bá Nghi thương nghị. Trọng Bình tâu nói:
"thành trì là hiểm hữu hình mà nhân tâm là hiểm vô hình, không nên bắt
dân đã nhọc sức lâu rồi, lại hưng lực nữa và thêm lao phí”. Vua theo lời
bàn; tới khi trong Kinh có việc tên Đoàn Trưng khởi nghịch. Vua cho nơi
căn bản làm trọng, triệu Trọng Bình về, đổi lĩnh Lại bộ Thượng thư, kiêm
quản Quốc tử giám sung Cơ mật viện đại thần. Gặp lúc Nguyễn Tri Phương
cũng từ Hải Dương đến để vào chầu, vua nhân hỏi: "quan lại chứa chất tệ
hại đã quen, xin lựa chọn vị đại thần ra đó trừng trị thời quan lại mới thanh
