Tháng 3 năm Thiệu Hưng thứ ba, Nhạc Phi phụng mệnh đi trấn áp quân
khởi nghĩa nông dân ở Kiều Châu (nay là thành phố Cán Châu) và Cát Châu
(nay là huyện Cát An). Nhạc Phi lựa chọn các cách đánh khác nhau, chỉ nửa
tháng sau, toàn bộ quân khởi nghĩa đã bị đánh tan. Sau đó ông dẫn quân về
hướng Kiều Châu, tại vùng đất làng Cẩm Y Hưng Quốc, ông đã có cuộc
giao chiến với quân khởi nghĩa. Quân khởi nghĩa tuy hữu dũng nhưng vô
mưu, lại thiếu kinh nghiệm chiến trận nên mấy trăm doanh trại chỉ trong
chốc lát đã bị quân Nhạc Phi đánh tan, các thủ lĩnh đều bị bắt sống.
Tháng 9, Nhạc Phi dẫn quân đến Hàng Châu, vào triều chầu kiến Triệu
Cấn, Triệu Cấn đã ban tặng cho ông, áo giáp sắt, ngựa, cung tên và cả chiến
bào, đồng thời còn tặng cho ông lá quân kỳ bên trên có thêu 4 chữ "Tinh
Trung Nhạc Phi" và tấn phong cho ông làm Trấn Nam Quân Thừa Tuyên
Sứ, Giang Nam Tây Lộ Thư, Kỳ Châu Chế Tri Sứ, tiếp tục đóng quân ở
Giang Châu.
Tháng 3 năm Thiệu Hưng thứ tư, Nhạc Phi phụng mệnh thu phục Tương
Dương, ông dẫn quân từ Giang Châu đến đóng tại Ngạc Châu (nay là Vũ
Hán), sau đó lại từ Ngạc Châu di chuyển đến Giang Bắc Thượng, rồi đích
thân dẫn cánh quân đến Tương Dương, trước tiên thu phục Y (Dương Y),
Lạc (Lạc Dương), Thương (Thương Châu), Quắc (Quắc Châu), sau đó tiến
hành bao vây và công chiếm vùng đất Trần, Thái, rồi đánh bại quân Tề,
Ngụy. Tin thắng trận báo về triều đình, ông được sắc phong làm quan thái
úy.
Sau khi thu phục được Tương Dương, ông rất được hoàng đế Triệu Cấn
và tể tướng Trương Tuấn nể trọng. Vì muốn tước bỏ binh quyền của Lưu
Thế Quang, hoàng đế Triệu Cấn và tể tướng Trương Tuấn đã hạ chiếu chỉ
cho sáp nhập quân của Lưu Thế Quang vào quân của Nhạc Phi và giao
trọng trách "rửa nỗi nhục nước nhà, cứu toàn dân thiên hạ" cho Nhạc Phi.
Nhưng khi sắp sửa sáp nhập thì Triệu Cấn và Trương Tuấn đã đột ngột thay
đổi ý định, bãi bỏ việc sáp nhập quân đội.
