Khi đã định xong hòa ước, quân Kim quyết định rút khỏi Khai
Phong, dẫn giải luôn Tống Huy tông và Tống Khâm tông cùng một số
thân nhân trong hoàng gia về Hội Ninh, phía nam Hắc Long Giang.
Thế là triều đình Bắc Tống diệt vong, thay vào đó là triều đình Nam
Tống do Khang vương Triệu Cấu liên kết cùng với tên Tri châu Uông
Bá Nhan, lấy phủ Đại Danh làm kinh đô. Triều Nam Tống cũng theo
vết xe đổ, càng hủ bại hơn trước và mỗi lần nghe tiếng quân Kim sắp
tiến đánh là ai nấy đều run rẩy chỉ nghĩ đến đầu hàng hoặc xin thần
phục giữ lấy mạng sống.
Nhạc Phi đã tham gia quân đội từ thời Bắc Tống, trải qua mấy
năm trong quân ngũ đã nhìn rất rõ sự tác hại của bọn gian thần, trong
lòng hết sức căm hận nhưng đành phải nín nhịn, mang hết sức mình ra
chiến mỗi khi đụng độ với quân triều Kim. Nay thấy triều đại cũ diệt
vong, nghĩ rằng triều đại mới chắc chắn sẽ sáng suốt nhìn ra cái họa
xâm lăng từ triều Kim nên hăng hái dâng thư lên Tống Cao tông kiến
nghị mở rộng việc chiêu mộ và huấn luyện quân sĩ, đồng thời cách
chức mấy tên gian thần trong triều mà nổi trội nhất là tên Uông Bá
Nhan. Thế nhưng Nhạc Phi không biết rằng triều Nam Tống cũng hủ
bại chẳng khác gì Bắc Tống, khi dâng thư lên liền bị Cao tông quở
trách và cách hết chức vụ, cho về quê làm thường dân.
Tuy nhiên mấy năm sau triều Kim lại kéo quân sang uy hiếp biên
cương, bất đắc dĩ Cao tông phải gọi Nhạc Phi ra cầm quân trở lại theo
Vương Ngạn vượt sông Hoàng Hà chống lại quân Kim. Sau này, ông
theo dưới trướng Tông Trạch lưu thú tại Đông Kinh, rất được Tông
Trạch yêu thích.
Sau khi Tông Trạch chết, Nhạc Phi theo Đỗ Sung đóng ở Kiến
Phong. Khi Ngột Truật vượt sông xâm lược Nam Tống, Đỗ Sung sợ
hãi đầu hàng quân địch nhưng Nhạc Phi rất can đảm, chỉ huy bộ tướng
quyết định chiến đấu. Khi Ngột Truật rút quân, Nhạc Phi dũng mãnh
truy kích theo, thừa cơ thu phục lại đất Kiến Phong. Lúc ấy Nhạc Phi
