Khi về bổ Hữu thị lang Binh bộ, chuyển sang Tham tri Bộ Hình rồi lên thự
Thượng thư. Bấy giờ ở ven biên giới Bắc kỳ, bọn cổ phỉ lan tràn, ở Quảng
Yên, giặc biển cũng tụ tập làm trở ngại. Vua cho Tuấn sung Khâm sai Bắc
kỳ thị sư lại kiêm Kinh lược đại thần. Tuấn dâng sớ nói về tình hình giặc và
tâu bày công việc xếp đặt về sau ở các tỉnh ven biển, tất cả có 9 điều.
Tuấn thường đã từng mang một đạo quân lẻ loi vào sâu nơi trọng địa. Giặc
thốt nhiên đến vây. Mọi người đều kinh hoảng, nhưng Tuấn, sắc vẫn bình
tĩnh như thường, từ từ trù tính kế hoạch, cuối cùng rồi giải được vòng vây.
Vua nghe tin, khen ngợi.
Sau đó, tình hình giặc núi đã hơi bớt, nhưng thế giặc vùng Hải Yên thời
hung dữ, có chỉ vua cho Tuấn đốc suất quân vụ Hải Yên.
Năm thứ 26 (1873), triệu về sung Chánh sứ sang Tây (sang Pháp), Nguyễn
Văn Tường làm phó, trước hết hãy đến Gia Định cùng với nguyên soái
Pháp Du Bi Lê thương nghị. Lại phát giao cho sắc ấn toàn quyền tuân hành.
Sau ông mắc bệnh mất ở Gia Định vào Tự Đức năm thứ 27 (1874). Được
tin báo tang, vua vô cùng thương tiếc, dụ rằng: "Lê Tuấn, sớm đỗ liền khoa,
trải nhậm lâu năm, phụng sứ sang Tây, vì nghĩa không từ khó nhọc. Lại cho
đồng sự quay trở về làm việc, rất là bổ ích. Nay việc giao hảo vừa xong, sứ
bộ được tạm về, thời bị một chứng bệnh mà bỗng vĩnh biệt, thực là đau
đớn. Vậy cho thực thụ Thượng thư, tặng Hiệp biện đại học sĩ." Rồi ban
vàng lụa để lo việc tang. Lại hạ sắc: khi đám tang về qua kinh thành thời
dừng lại ở bến sông. Rồi vua thân làm bài văn tự thuật danh phận tình
nghĩa Tuấn lúc sinh thời rất là thiết tha, thương tiếc, và sai hoàng tử cùng
quan hữu tư phụng chỉ ban tế để tỏ đặc ân. Bài văn rằng:
"Hỡi ơi! Thương thay! Hỡi Lê Tuấn ngươi sao vội phụ trẫm và vĩnh biệt
vậy? Chỉ được thấy tiễn ngươi đi mà chẳng được thấy đón ngươi về. Thời
trẫm làm sao cho đành lòng được. Hỡi ơi thương thay! Vả, người không
phải là học trò của trẫm, chẳng mong gì ở ngươi tiến cử bạn hiền lương để
báo đáp trẫm. Cái dùi trong túi chưa ló mũi ra (72). Trẫm cũng chẳng phải
