Nhà Mạc xúc tiến tu sửa thành Nà Lữ để làm vương phủ đóng đô ở Cao
Bình, đồng thời lập các đồn ngoại vi là đại đồn Mục Mã, đại đồn Khau Cút,
đại đồn Háng Quang để chặn đường quân Lê Trịnh từ Lạng Sơn đánh lên, từ
Nà Rị, Bạch Thông hay từ Bảo Lạc đánh xuống. Thành Mục Mã (nay là
pháo đài thành phố Cao Bằng) có núi đất cao, là thế đất rất hiểm yếu, thành
đắp bằng đất, bên ngoài có hàng rào bằng gỗ kết lại.
Nhờ có địa hình bốn bề núi non hiểm trở, nhà Mạc thu phục được nhân
tâm các dân tộc miền núi. Cao Bằng trở thành chốn đô hội sầm uất. Mặc dù
chỉ chiếm một cương vực nhỏ bé, các vua Mạc vẫn cho tổ chức các khoa thi
Hội tại Cao Bình vào các năm Sửu, Mùi, Tuất, Thìn, tất cả là 12 khoa thi.
Ngay năm 1595 đã mở khoa thi đầu tiên lấy Nông Văn Noọng người châu
Thượng Lang đỗ tiến sĩ. Khoa thứ hai (1598) lấy Bế Văn Phụng người châu
Thạch Lâm đỗ tiến sĩ. Đặc biệt tại khoa thi thứ tám, người đỗ đầu tiến sĩ là
cô gái giả trai Nguyễn Thị Duệ. Và đó cũng là nữ tiến sĩ duy nhất thời phong
kiến nước ta!
