Lời đó đến tai Lý Lâm Phủ, hắn căm giận Trương Cửu Linh đến bầm
gan tím ruột. Một viên tướng ở Sóc Phương (trị sở ở Linh Vũ, Ninh Hạ
ngày nay) tên là Ngưu Tiên Khách, 1 chữ bẻ đôi cũng không biết, nhưng lại
rất giỏi về cách xoay tiền. Đường Huyền Tông muốn thăng quan cho Ngưu
Tiên Khách, Trương Cửu Linh không đồng ý. Lý Lâm Phủ liền nói với
Đường Huyền Tông: "Người như Ngưu Tiên Khách, có tài làm được đến tể
tướng, còn Trương Cửu Lương chỉ là một anh mọt sách, không hiểu được
đại sự!".
Sau đó, Đường Huyền Tông lại bàn với Trương Cửu Linh về việc
thăng chức cho Ngưu Tiên Khách, nhưng Trương Cửu Linh vẫn không
đồng ý. Đường Huyền Tông nổi giận, nghiêm giọng nói: "Lẽ nào việc gì
cũng phải theo ý khanh hay sao?".
Từ đó, càng ngày Đường Huyền Tông càng chán ghét Trương Cửu
Linh, lại thêm có lời gièm pha của Lý Lâm Phủ nên cuối cùng, ông đã
quyết định cách chức Trương Cửu Linh và đưa Lý Lâm Phủ lên thay. Lý
Lâm Phủ lên làm tể tướng, việc làm đầu tiên là chặn mọi đường dây liên hệ
giữa Đường Huyền Tông với các triều thần, không để ai có thể trực tiếp gặp
thiên tử. Một lần, hắn triệu tập các gián quan lại và công khai tuyên bố:
"Hiện nay, hoàng thượng thánh minh, kẻ thần hạ như chúng ta chỉ cần làm
theo ý của người, không cần mồm năm miệng mười làm rác tai hoàng
thượng. Các ông có thấy đàn ngựa "lập trượng" không? (ngựa lập trượng:
loại ngựa có tư thế oai vệ, chuyên được huấn luyện để đứng dàn hàng 2 bên
lối vào hoàng cung). Chúng được hưởng sự đã ngộ tương đương chức gián
quan tam phẩm. Nhưng nếu có con nào bất chợt hí lên, là bị loại ngay, có
hối cũng không kịp".
Có 1 gián quan không chịu làm theo lời Lý Lâm Phủ, ông dâng lên
Đường Huyền Tông 1 bản kiến nghị. Lập tức ngày hôm sau, ông ta bị giáng
chức, điều đi tỉnh xa làm huyện lệnh. Mọi người đều biết đó là do ý kiến
của Lý Lâm Phủ, nên sau đó không ai còn dám can ngăn Đường Huyền
