Thái Nguyên trở nên hung dữ, quân bộ biền bị thua. Tổng đốc Ninh Thái
Phạm Chi Hương tâu xin cho Khiêm coi hạt Thái. Ít lâu, vì tiến đánh thất
lợi bị thương. Việc tâu lên; vua cho là quan văn như thế cũng hiếm có, cấp
cho 10 lạng bạc chữa thuốc. Lại dụ rằng chữa mau để đi đánh để thu lấy cái
thành hiệu đã hăng hái đánh giặc, đừng thấy thua một trận mà chán nản".
Năm thứ 21 (1868), bọn phỉ tiến đánh ở Cao Bằng lại nổi lên. Vua sai Chi
Hương đi Cao Bằng trù tính đánh dẹp, Ích Khiêm thời quyền giữ ấn Tổng
đốc quan phòng. Chưa bao lâu, Khiêm đổi sang (tán lý quân thứ Lạng Bình,
cùng với đề đốc Nguyễn Viết Thành hội họp với phó tướng Tạ Kế Quý
nước Thanh đánh phỉ ở Thất Khê, cả phá được, có trong nửa ngày đốt luôn
được hơn 30 đồn giặc. Khiêm được thưởng các hạng nhẫn vàng khảm pha
lê lóng lánh. Sau bị việc để cho quân bộ biền đi đốt nhà cướp của, khép vào
tội đồ, vẫn cho phép mộ lính dõng theo đi đánh giặc.
Năm thứ 22 (1869) bọn phỉ nước Thanh là Ngô Côn đem đồ đảng đánh vây
tỉnh thành Bắc Ninh, khí thế rất hăng. Bọn khâm sai Nguyễn Văn Phong,
đình thần Bùi Tuấn bám chặt thành cố giữ. Ích Khiêm được tin, từ huyện
Kim Anh ban đêm binh voi gấp đường xông tới đánh. Trong ngoài giao
nhau bắn, Côn trị trúng đạn lạc, bèn giải được vây, được phục hàm Bố
chính sung tán lý, và thưởng thêm 1 đồng kim tiền "Vạn thế vĩnh lại" hạng
lớn, 1 tấm bội bài bằng ngọc quí và 50 lạng bạc. Khiêm lại đốc suất đi với
lãnh binh Hà Nội Trương Trường Hợp và quyền Đề đốc quân thứ Thái
Nguyên Nguyễn Văn Nhuận đánh phỉ ở xã Thanh Tước bắt và chém được
rất nhiều. Phỉ sợ, rút lui. Ích Khiêm dời quân về quân thứ Sơn Tây. Gặp lúc
bọn phỉ chia nhau đóng giữ Phú Bình, Đại Từ, chẹn lối sau của Thái
Nguyên, Ích Khiêm liền đem quân bản bộ và quân đạo Sơn Tây, hợp tiễu
để giải nguy cấp cho tỉnh Thái.
Năm thứ 23 (1870) Khiêm cùng với Tham tán Lê Bá Thận đánh phá đảng
lũ của Hoàng Văn ở trong rừng Lục Ngạn, được cất bổ lên Tham tri Binh
bộ và đổi sang Tán lý Lạng Bình, ít lâu thăng lên Tham tán. Bấy giờ bọn
