Thật sự theo nhiều chứng cứ thì vợ chồng Tần Cối không thể dễ
dàng trốn chạy như vậy, nhất là lại đèo bồng cả bọn thuộc hạ. Hắn đã
theo lệnh của Đát Lãn, cam tâm làm gian tế nằm phục ở triều đình
Nam Tống mà phá hoại, giúp cho triều Kim thuận lợi hơn trong việc
tiêu diệt nước Tống. Do vậy nhiều lần Nhạc Phi đã sắp tiến tới chiến
thắng thì đều bị Tần Cối xúi giục Cao tông xuống lệnh triệu về, bắt rút
lui bỏ hết những công lao từ trước tới nay.
Năm Thiệu Hưng thứ bảy (1137), một lần nữa Nhạc Phi không
hiểu triều đình đã bị bọn gian thần bán nước thao túng, về triều bệ kiến
Tống Cao tông, dâng bản kế sách thu phục những vùng đất Nam Tống
đã bị quân Kim chiếm giữ. Cao tông đọc bản kế sách này rất khen
ngợi, lập tức cho Nhạc Phi nắm toàn quyền binh mã, đồng thời quyết
định tăng thêm số quân để đủ cho kế hoạch. Nhac Phi rất mừng,
nhưng khi đang điểm quân thì chợt Cao tông đổi ý ngược lại hoàn
toàn, đó lại là do sự ngăn cản của Tần Cối. Không những thế, Tần Cối
còn gièm pha là Nhạc Phi không coi trọng di hài tiên đế, chỉ muốn lấy
chiến tranh làm bậc thang trèo lên chức vụ cao. Nhiều lần như vậy,
Cao tông đâm ra có ấn tượng không tốt với Nhạc Phi.
Thật sự Tần Cối muốn giết Nhạc Phi từ lâu rồi nhưng ông có quá
nhiều chiến công vang dội, triều đình lại đang cần tướng lãnh tài ba để
chống đỡ nên không sao hại được Nhạc Phi. Qua nhiều lần như vậy,
dần dần Nhạc Phi cũng hiểu ra, vì vậy khi Cao tông mở phong chức
thì ông nhất định từ chối, cho rằng nên đề phòng người Kim lật lọng
hơn là chắc ý vui mừng. Việc này khiến Cao tông hết sức buồn giận,
bởi nếu Nhạc Phi không nhận ban thưởng thì chẳng có ai xứng đáng
hơn nữa.
Cuối cùng Cao Tông phải hạ chiếu tới lần thứ ba, bất đắc dĩ Nhạc
Phi phải nhận để đừng mang tội khi quân. Vì việc này mà Tống Cao
tông rất bất mãn Nhạc Phi nhưng không có cớ nói ra. Tần Cối nhìn
biết tâm ý của Cao tông, ngầm tìm cách hãm hại Nhạc Phi để cho
Hoàng đế được hài lòng.