Năm thứ 23 (1870) cất lên Tuần phủ làm hộ lý Hải Yên Tổng đốc, gặp tên
đầu giặc là Hoàng Tề đốt hãm ở 2 huyện Thủy Đường, An Dương (nay
thuộc thành phố Hải Phòng), Hữu Thường đem quân đánh lấy lại được.
Năm thứ 26 (1873) sung làm quân vụ đại thần đứng trông coi 2 tỉnh ấy, từ
Tuần phủ, Đề đốc trở xuống đều theo tiết chế, đó là vốn đã am hiểu địa thế
nhân tình, nên đặc cách ủy nhiệm cho. Sau giặc lại vào trong sông quấy
nhiễu cướp bóc. Hữu Thường phái 3 đạo binh thuyền hợp lại đánh dẹp,
thuyền giặc trốn nép các ngả sông phóng hỏa đánh úp mặt sau. Bờ đề đốc là
Đặng Duy Ngọ thua chạy, đốc binh tiền đạo là Đinh Hỷ, phó lãnh binh
quan là Trương Viết Cường đóng quân không động dụng, vua cho Hữu
Thường trông coi không khéo, chuẩn cho cách lưu.
Mùa đông năm ấy, quân Pháp phái tên Ngạc nhi (tức An Nghiệp) hãm Hà
thành và truyền hịch bảo các tỉnh bỏ hết bến bãi, nhổ hết chông trại ở sông,
yết thị việc thương ước và lái tàu tới Hải Dương đón tỉnh thần ra thương
thuyết. Tỉnh đáp: chưa có mệnh lệnh của triều đình. Quân Pháp bèn chiếm
thành, Hữu Thường cùng tuần phủ là Đặng Xuân Bảng, Bố chính sứ
Nguyễn Hữu Chính và Án sát sứ Nguyễn Đại thoát chạy ra các huyện Gia
Lộc, Cẩm Giàng đóng, rồi rút về Kinh, án định xử chém giam đợi lệnh.
Năm thứ 29 (1876) tha cho giao làm ở quân thứ ra sức chuộc tội, chẳng bao
lâu lại phục hàm Tu soạn, Thương biện công việt tỉnh Bắc Ninh. Năm thứ
33 (1780) thăng thự Hồng lô tự Khanh, làm biện lý Bộ Công, rồi cất Hồng
lô tự Khanh. Năm thứ 35 (1882) thự Hữu thị lang. Hàm Nghi năm đầu
(1885) thăng bổ Tham tri Bộ Công, bấy giờ ở Trị Bình có báo động, vua
thân đi đánh, đổi làm Tuần phủ Trị Bình. Khi việt yên cất làm Công bộ
Thượng thư, kiêm quản ấn triện Đô sát viện. Năm thứ 3(1888) Hữu Thường
vì tuổi già xin rút lui; vua cho là bậc lão thành không cho, thăng thự Hiệp
biện đại học sĩ sung Thiên thành cục đổng lý đại thần. Năm ấy tháng 9,
chuẩn cho nguyên hàm về hưu trí, cấp cho 20 lạng bạc và tơ nõn cùng
nhiễu đều 1 tấm, rồi mất ở nhà, thọ 72 tuổi. Tỉnh thần đem việc tâu lên, gia
ơn cho 50 lạng bạc.
