Năm Tự Đức thứ nhất, được thưởng 1 cấp quân công.
Năm thứ 2, về Kinh kính đợi lễ tấn tôn, được sung làm nội tán "đại lễ bang
giao", liền được bổ thụ tuần phủ, nhưng quyền làm việc bộ Hình. Rồi lại
đổi đi tuần phủ Hà Tiên. Năm ấy được thăng thự tổng đốc An Hà. Danh
sách kì đại kế dâng lên, được thưởng gia 1 cấp.
Năm thứ 4, mùa xuân, Hữu Bằng tâu nói: quốc vương Cao Miên là Sá Ông
Giun ủy cho thổ mục đệ công văn đến tỉnh: Một khoản xin chuyển lui 2 bảo
Bình Di, Khánh An; một khoản xin châm chước tha thuế thuyền, để thổ dân
được tiện đi lại thông thương. Vua sai Bằng nghĩ làm tờ tư trách hỏi vua
Miên về nghĩa phiên thần, và ơn gây dựng, xem hắn đáp lại thế nào, rồi tùy
cơ liệu làm. Sau Bằng lại tâu rằng: Dân Miên bị mất mùa, Miên trưởng tất
muốn đến buôn gạo của nước ta, thì giá gạo sợ lại đắt thêm. Xin trả lời
khước từ với nước ấy từ trước khi chưa có lệ thông thương. Nếu dân Miên
có nhân đói họp bọn cướp bóc, thì ta sẽ bắt chém; thổ dân về quy thuận, thì
cho sát nhập vào Ô Môn ở Ba Châu mà sinh sống làm ăn để tỏ ra ý kiến vỗ
về yên họp. Vua khen là phải, sai sao chép bản tâu ấy giao cho Gia Định,
Định Tường, Hà Tiên, thi hành một thể.
Năm thứ 5, Bằng làm tập đem các phủ huyện là nhân viên xuất sắc, bảo cử
lên. Được dụ rằng: Cao Hữu Bằng, biết tiến người hiền tài, không ẩn giấu
chút nào, thực là đáng khen. Chuẩn thưởng cho 3 tấm sa màu, để tỏ ra
khuyến khích. Tháng 8, danh sách kỳ đại kế dâng lên; được dụ rằng: Cao
Hữu Bằng gặp việc hết sức thừa hành không cẩu thả, cẩn thận, siêng năng
về chức vụ, thưởng gia một cấp. Tháng 9 được triệu về Kinh chầu hầu.
Năm thứ 6, được thăng thụ Tổng đốc An Hà. Tháng 9 năm ấy, Bằng xin sức
cho nước Miên rút bỏ đồn thủ ở thượng du. Vua không cho, dụ rằng: Đấy là
lệ thường giữ nước, chưa có thể lấy việc đó. Sự nhòm nom biên cảnh, mở
mối hấn khích mà trách họ. Về thế chế thương mến nước ngoài, cần phải tỏ
ra lòng rộng rãi.
