Năm 354, Hoàn Ôn dẫn 4 vạn quân Tấn xuất phát từ Giang Lăng, chia
làm 3 đường tiến đánh Trường An. Quốc vương triều Tần là Phù Kiện dẫn
5 vạn quân ra chặn lại ở Nghiêm Quan, bị quân Tấn đánh cho tan tác. Phù
Kiện đành dẫn 6 ngàn tàn binh già yếu chạy về Trường An, đào hào đắp lũy
cố thủ. Hoàn Ôn thắng lợi, tiến quân đến Bá Thượng. Các quan vùng phụ
cận Trường An lũ lượt đến đầu hàng quân Tấn. Hoàn Ôn ra cáo thị, khuyên
dân chúng cứ an cư lạc nghiệp. Trăm họ mừng rỡ, tranh nhau bắt bò, dê,
mang rượu đến doanh trại quân Tấn úy lạo. Từ khi Tây Tấn diệt vong, nhân
dân ở miền bắc chịu mọi nỗi khổ cực do cảnh hỗn chiến đem lại. Nay nhìn
thấy quân Tấn từ miền nam tiến lên, mọi người mừng vui trào nước mắt,
cảm động nó: "Không ngờ tới hôm nay, lại được nhìn thấy quân của triều
đình".
Hoàn Ôn đóng quân ở Bá Thượng, định đợi tới khi lúa mì chín thì
tung quân ra gặt cướp để bổ sung cho số lương thực mang theo đã cạn.
Nhưng Phù Kiện cũng rất tinh khôn, đoán được ý Hoàn Ôn, liền sai người
gặt hết số lúa mì chưa thật chín, không cho quân của Hoàn Ôn được hưởng
chút gì. Quân của Hoàn Ôn hết lương, không trụ lại được, đành rút về. Tuy
vậy lần bắc phạt này cũng đã giành được thắng lợi lớn. Tấn Mục Đế thăng
Hoàn Ôn lên làm Chinh Thảo đại đô đốc. Sau đó, Hoàn Ôn còn bắc phạt 2
lần nữa. Lần cuối, nhằm vào Tiền Yên, tiến quân đánh Phương Đầu (nay ở
tây nam huyện Tuấn, Hà Nam). Sau bị quân Tiền Yên cắt đứt đường tiếp
lương nên thất bại.
Hoàn Ôn nắm đại quyền về quân sự của Đông Tấn trong 1 thời gian
dài. Vì vậy, dần dần nảy sinh dã tâm. Có lần ông ta tự nói với mình: "Làm
tài trai, nếu không để tiếng thơm lại trăm đời; thì cũng nên lưu tiếng xấu tới
vạn năm".
Một viên quan tâm phúc của Hoàn Ôn biết được dã tâm của ông ta,
liền hiến kế: "Nếu muốn nâng cao uy tín của mình, thì nên theo Hoắc
