phỉ Tô lại chiếm cứ thành Lạng. Ích Khiêm sai bắn đại bác vào cửa đông
thành, bỗng bị phỉ bắn trả lại làm chân trái bị thương, bèn mang lính tùy
tòng trở về Hải Dương. Vua thấy luôn lập chiến công, ban cho sâm quế,
xuyên tam thất, bạc cùng đồ vật và gia ơn cho được cách chức lưu dụng,
nghỉ giả hạn rồi lại tới quân thứ. Nhưng thứ thần tâu rằng hôm bị thương,
Khiêm đã chọn lấy 200 lính giỏi ở đồn để hộ vệ mình (trở về), Khiêm lại bị
giáng xuống Quang Lộc tự khanh vẫn sung tán lý.
Năm thứ 24 (1871) Ích Khiêm đóng quân thứ ở Đông Triều dẹp phỉ được
thắng lợi luôn. Mùa hè năm ấy, bọn phỉ lại cướp Sơn Tây. Khiêm được
thăng thụ Thị lang gia hàm tham tri đổi tham tán quân thứ Sơn Tây, chuyên
đốc lạo quân Sơn phàm việc quân cơ được làm tập tâu riêng phát đ̓
Năm thứ 25 (1872), tháng 2, Khiêm cùng tán tương Nguyễn Dy phá tan sào
huyệt phỉ ở Quán Tư, lấy lại huyện Trấn Yên, được thưởng thêm 1 tấn kim
bài. Ích Khiêm lại họa địa đồ Sơn Hưng Tuyên dâng vua. Vua xem, nói
rằng: "Nay hãy trù tính Hưng trước, Tuyên sau”. Ít lâu, vì trận đánh ở Đại
Đồng thua, rút lui, bị cách chức lưu dụng.
Năm thứ 26 (1873) bọn phỉ vây ép đồn Phong Đăng, Khâm mạng Nguyễn
Tri Phương và Thống đốc Hoàng Tá Viêm muốn thừa hư đánh úp lấy sào
huyệt phỉ ở Đại Đồng, kíp đòi các đạo binh sách viện. Ích Khiêm vốn bất
hòa với Tá Viêm, bèn lấy cớ giặc đông, đường hiểm, lại vin cớ có bệnh, rồi
lui quân đóng một nơi. Tri Phương cho là Khiêm tiến hay ngừng tự ý không
tuân tướng lệnh, hặc xin cách chức giao cho theo quân thứ Tuyên Quang
sai phái. Sau vì có bệnh trở về.
Năm thứ 27 (1874), Tổng đốc mới Hải Dương Phạm Phú Thứ là người
cùng huyện với Khiêm, nhân về thăm hố mẹ, tạt qua nhà Khiêm, Khiêm
nói: "Bệnh cũ ngày một hết, tuổi ngày một cao, không ra lo toan báo đáp
thời là người phụ ơn, phụ lòng". Đến khi Phú Thứ về kinh tâu xin cho
Khiêm chức Tán tương để đi quân thứ Bắc Ninh đánh dẹp. Vua y cho, lại
thấy Khiêm là người dũng nhưng vô lễ, răn rằng: "Người có lễ độ phải lưu
