Năm Minh Mạng thứ 6, đỗ hương tiến.
Năm thứ 7, Thượng bảo thiếu khanh, quản lý phòng văn thư là Phan Đình
Sĩ dâng sớ xin chọn người sung làm Hành tẩu phòng ấy. Bấy giờ hội cử
được 10 người, Bằng được dự tuyển; do làm Hàn lâm viện điển bạ, nhiều
lần thăng đến Lang trung Bộ Hộ.
Năm thứ 12, vâng phái đi hộ tống nạước Thanh về tỉnh Phúc Kiến.
Năm thứ 14, ra làm án sát sứ Hà Tĩnh.
Năm thứ 15, thăng thự Bố chính, Hộ lý ấn quan phòng tuần phủ. Bấy giờ,
có tướng giặc là Phan, lẩn trốn ở miền rừng núi Hồng Sơn, Hữu Bằng thân
đốc quân dân chặn đánh bắt sống được hơn 20 tên vừa đầu mục giặc và bọn
lũ giặc; lại có hơn 30 tên đến thú nữa. Vua xuống dụ khen thưởng cho thực
thụ Bố chính, vẫn giữ chức Hộ lý.
Năm thứ 18, sung làm khâm mạng tuyển trường ở Nam Định. Trước đây,
quan lại ở Trấn Tây đã có đặt chức hiệp, nhưng chưa chọn cử được người
sung chức ấy. Đến bây giờ, vua bảo là Hữu Bằng có thể đương nổi chức ấy.
Bèn đổi Bằng làm Thị lang Bộ Binh, hiệp tán công việc thành Trấn Tây, và
chế cấp cho ấn quan phòng, phàm có việc khẩn cấp, cho phép được làm tập
tâu riêng. Khi ấy là năm Minh Mạng thứ 19. Hữu Bằng khi mới đến trấn ấy,
dâng sớ dán kín nói: Trấn Tây chưa thể nghỉ được, việc binh, các phiên
thuộc nay đã hành bộ hiện tên trong sổ, nên bắt phong biên sứ phải tự về
thú. Lại xin tha các tù phạm giam cầm ở thành ra, ghép vào làm binh đồn
điền. Sớ dâng lên, vua chuẩn cho trích đem tù đồ tha ra ghép sung vào đồn
điền. Còn như người Man, Thổ, thì bắt giữ việc ngoài biên, không chuẩn
cho đi làm đồn điền.
Lại dụ rằng: Người mới được chọn bổ, phải thực lực làm việc cho ẩn đáng,
chớ nên chỉ kiến nghị tâu bày để tự khai mình.
