Sau khi nhận được ngự trát, Nhạc Phi bèn tức tốc đến cầu kiến Triệu Cấn,
xin cho hai quân sáp nhập làm một, nhưng ông đã thất bại. Tháng 3 năm thứ
7, Nhạc Phi trong tâm trạng buồn rầu, chán nản đã viết bản tấu chương gửi
đến triều đình Nam Tống, xin được trao lại binh quyền để lui về Lư Sơn.
Ông đã viết liền ba bản tấu xin từ chức, nhưng Triệu Cấn cũng viết liền ba
bức ngự chỉ thúc Nhạc Phi dẫn quân trở về. Lệnh vua bất khả kháng, Nhạc
Phi đành phải quay về Kiến Khang, vào triều thỉnh tội. Triệu Cấn ra lệnh
cho ông trấn giữ Giang Châu, chi viện cho Hoài Chiết.
Sau mùa thu năm thứ 7, Nhạc Phi phụng mệnh lần thứ hai đóng quân ở
Giang Châu, trong thời gian này, ông đã dùng kế phản gián khiến cho nước
Kim phế bỏ Ngụy Tề Lưu Dự, đồng thời ông cũng đã cùng với Hàn Thế
Trung dâng biểu tấu, xin cho xuất quân Bắc phạt.
Năm Thiệu Hưng thứ 10, quân Kim chia làm 4 đường kéo xuống phía
Nam tiến đánh nước Tống.
Tháng 6, Nhạc Phi lại một lần nữa từ Ngạc Châu xuất quân Bắc phạt,
đánh bại quân của Ngột Thuật tại Yển Thành (nay là Yển Thành - Hà
Nam), thừa thắng tiến thẳng đến Châu Tiên Trấn (phía Tây Nam thành phố
Khai Phong, tỉnh Hà Nam ngày nay). Hai bên dẫn quân hai bên bờ sông, khí
thế bừng bừng chuẩn bị một trận quyết chiến. Đang lúc chờ thời cơ vượt
sông thì Cao Tông nghe theo lời gièm pha của Tần Cối đã dùng 12 đạo kim
bài hạ lệnh lui quân khẩn cấp.
Khi nhận được chiếu lệnh, Nhạc Phi lòng đau như cắt, uất ức muôn phần,
ông đã thở dài than rằng "Công lao 10 năm hủy trong một giờ; châu quận
đoạt được bỗng chốc mất trắng; giang sơn xã tắc khó lòng phục hưng; thế
giới càn khôn, biết ngày nào khôi phục". Sau khi về đến Lâm An (nay là
thành phố Hàng Châu, tỉnh Chiết Giang), Nhạc Phi bị bãi bỏ toàn bộ binh
quyền, giáng xuống làm Khu Mật Phó Sứ. Ít lâu sau, ông bị gian thần vu
cáo, hãm hại nên phải chịu cảnh tù đày. Ngày 29 tháng 2 năm Thiệu Hưng
thứ 11 (tức ngày 27 tháng 1 năm 1142) ông đã bị bọn gian thần vu cho tội
"Có lẽ có" (làm phản) và bị sát hại khi mới 39 tuổi.
