Năm thứ 15 (1862) Vỹ đóng ở phủ Nam Sách, bị phỉ vây hãm lâu ngày,
tuyệt đường cứu viện, bức phá vòng vây ra. Phỉ bắt được đem khóa giam ở
trong thuyền. Đến trận đánh ở Thanh Lâm, quan quân theo bắt được thuyền
giặc, Vỹ nhân đó được thoát thân và bị tội lạc chức (cũng như truất chức)
cho lệ theo quân thứ, Tổng thống Nguyễn Tri Phương thấy người tài cán
tâu xin cho quyền sung bang biện quân vụ. Bỗng có báo thành Thái
Nguyên bị hãm, Tri Phương sai Vỹ mang quân đi lấy lại được thành, giết
được tên mạo xưng Lam Sơn chính thống là Thanh và ngụy Đắc, ngụy
Vân, ngụy Nghiêm tại trận. Vỹ lại cùng lãnh binh Lê Tuân tiến lên phá sào
huyệt phỉ ở châu Bạch Thông rồi lui về đóng Chợ Rã (Chữ Hán là Dã Thị).
Gặp bấy giờ hai động Man Nậm Bố, Lũng Vai đi đốt phá dân độngượng
Giáo, Hạ Hiệu, Vỹ sai Tri phủ Thông Hóa là Bùi Quang Huy đi tiễu. Người
Man lừa lúc bất ngờ đến đánh úp quân Vỹ. Vỹ trúng tên lạc bị thương,
quay về Hải Dương.
Năm thứ 18 (1865), 300 chiếc thuyền giặc biển từ Cát Bà chia từng toán
đến quấy nhiễu. Tri Phương lại sai Vỹ đốc quân đánh, bắn chìm được
thuyền giặc, chém được cừ mục giặc rất nhiều. Giặc cả sợ tan vỡ.
Năm thứ 19 (1866), Vỹ lại đi chợ Chu (tên đất thuộc tỉnh Thái Nguyên),
đánh phá đồn phỉ, bắt và chém được hơn 80 tên. Khâm sai Vũ Trọng Bình
thấy Vỹ mạnh giỏi, thông thạo, đạt lý, gặp việc ứng phó được tức thì, liền
dâng sớ xin khai phục cho chức Thị độc lĩnh án sát sứ Cao Bằng. Vua y
cho, rồi sau chuẩn cho quyền Bố chánh.
Năm thứ 21 (1868), tên phỉ đầu hàng là Ngô Côn lại phản, đánh úp lấy tỉnh
Cao Bằng, Vỹ lại bị bắt. Vỹ vốn có tiếng là tướng văn luôn đánh với giặc
và thắng luôn. Côn sợ Vỹ nhưng lại tiếc không nỡ giết, muốn để đùng. Vỹ
không chịu theo, bèn bị giam ở đồn Túc Sơn. Chưa bao lâu quan quân đến
đánh, phỉ bỏ đồn chạy, lại đem Vỹ về. Vỹ bị cách chức, hiệu lực để chờ án.
