Đường Huyền Tông rất tán thưởng Lý Bạch, nhưng Cao Lực Sĩ, kẻ đã bị
ông bắt cởi giầy thì căm tức trong lòng. Một hôm, trong khi đi theo Dương
quý Phi ngắm cảnh trong ngự viện. Dương Quý Phi cao hứng hát lên lời ca
do Lý Bạch viết. Cao Lực Sĩ làm bộ kinh ngạc nói: "Ôi chao, tên Lý Bạch
đó nhục mạ nương nương trong bài thơ đó, nương nương không biết sao?".
Dương quý Phi lấy làm lạ, liền hỏi vì sao. Cao Lực Sĩ liền thêm thắt
vào, nói câu thơ của Lý Bạch có ý so sánh Dương Quý Phi với Triệu Phi
Yến, 1 hoàng hậu phóng đãng thời Hán. Đó là 1 sự châm biếm cố ý. Dương
Quý Phi tin theo lời Cao Lực Sĩ liền nổi giận và tìm cách nói xấu Lý Bạch
với Đường Huyền Tông. Dần dần Đường Huyền Tông cũng cảm thấy
không ưa Lý Bạch nữa. Lý Bạch cũng nhận ra, xung quanh Đường Huyền
Tông chỉ là 1 lũ tiểu nhân loại như Lý Lâm Phủ, Cao Lực Sĩ chuyên nghề
xu phụ quyền thế. Ông ở bên cạnh Đường Huyền Tông, chẳng qua chỉ có
tác dụng giúp vui cho vị hoàng đế ăn chơi này, chứ không thể nào thực hiện
được hoài bão chính trị của mình. Vì vậy, tới mùa xuân năm sau, ông nộp
sớ tấu xin từ quan về nhà. Đường Huyền Tông lập tức phê chuẩn thỉnh cầu
của ông, nhưng để tỏ ra yêu quý tài năng, đã cho ông 1 số tiền làm lộ phí.
Sau khi rời Trường An, Lý Bạch tiếp tục sống cuộc đời tự do của 1 thi
nhân, khi thì ẩn cư đọc sách, khi thì du lãm các nơi. Trong những năm
tháng đó, ông đã viết lên nhiều bài thơ xuất sắc, ca ngợi núi sông tươi đẹp.
Một lần, xuất phát từ Bạch Đế thành, ngồi thuyền xuôi qua Tam Hiệp
của Trường Giang, đi tới Giang Lăng, ông nổi hứng vung bút viết bài thơ
Tảo phát Bạch Đế thành:
"Triêu từ Bạch Đế thái vân gian
Thiên lý Giang Lăng nhất nhật hoàn
Lưỡng ngạn viên thanh đề bất trú
Khinh du dĩ quá vạn trùng san."
