Đứng trước tình thế tướng soái tháo chạy, sĩ tốt tan tác, hoàng đế lưu
vong, quân Kim kéo đến nhanh như vũ bão, dân chúng hoảng loạn kêu gào
thảm thiết, Nhạc Phi đã tập hợp lực lượng, ông trích máu của mình ra để
động viên thuộc hạ và nói: "Ta nguyện một đời tận trung báo quốc, lập công
ghi vào sử sách, nguyện chết cũng không từ nan". Tất cả sĩ tốt đều cảm
động trước tinh thần trung quân ái quốc của ông và bày tỏ quyết tâm theo
ông chiến đấu đến cùng. Ông lần lượt đóng quân tại các huyện Quảng Đức
và Nghi Hưng, tại đây ông ra sức lập lại trật tự, thu gom những binh sĩ rời
ngũ từ đó mở rộng sức mạnh của đội quân để chuẩn bị dẫn quân về phía
Bắc.
Sau khi nắm rõ tình hình quân địch, Nhạc Phi dẫn quân chủ động xuất
kích và đã đánh bại quân Kim ở Thường Châu và Trấn Giang, nhanh chóng
thu hồi lại Kiến Khang (nay là Nam Kinh). Ông nhậm chức Phủ sử Thông
Thái, từ đó uy danh đại chấn bốn phương. Năm Thiệu Hưng thứ nhất. Nhạc
Phi đã lần lượt đánh bại bọn thảo khấu gồm Lý Thành, Trương Dụng, Tào
Thành. Do lập được công lớn nên ông được phong làm Vũ An Quân Tuyên
Thừa Sứ.
Tháng 6 năm Thiệu Hưng thứ hai, sau khi thảo phạt xong thế lực bọn
thảo khấu Lý Thành, Trương Dụng, Tào Thành, Nhạc Phi phụng mệnh lần
đầu đóng quân tại Giang Châu. Lúc này quân của Nhạc Phi khoảng hơn 2
vạn, tuy đời sống hết sức khó khăn, thiếu thốn, nhưng do quân luật nghiêm
minh nên không hề có trộm cắp, quân sĩ phải nhịn đói, không dám làm
phiền nhiễu dân chúng, khi ngủ trọ tại các gia đình cứ sáng sớm tinh mơ đã
dậy quét dọn đường ngõ sạch sẽ, rửa sạch nồi niêu, xoong chảo, sau đó mới
rời đi, quân sĩ đã để lại trong lòng dân chúng hình ảnh cao đẹp, đói cho sạch
rách cho thơm. Dân chúng Giang Châu cảm tạ công đức của ông đã cho xây
dựng đền thờ sống Nhạc Phi, trong đền cho đắp tượng ông, sớm tối thờ
cúng. Sau khi ông qua đời, đền được đổi thành Nhạc Vương Miếu. Bên
cạnh miếu có đào "Tiều Mã Trì" (ao cho ngựa tắm) và "Nhạc Công Ca
Tỉnh" (giếng Nhạc công).
