Herod đặc biệt hào phóng với Ngồi đền, ông trả toàn bộ chi phí xây mới
đền bằng tiền túi của mình. Bằng cách giảm tầm quan trọng của thầy cả,
vốn là một người Sadducee bị căm ghét, Herod nghiễm nhiên nâng tầm
quan trọng của người phó của mình, segan, một người Pharisee kiểm soát
mọi hoạt động thông thường tại Ngôi đền và đảm bảo rằng kể cả các thầy
cả Sadducee cũng thực hiện nghi lễ theo cách của người Pharisee. Vì Herod
hợp với người Pharisee, nên ông thường tránh xung đột giữa Ngôi đền với
chính quyền của mình. Nhưng liên minh này sụp đổ trong những tháng cuối
cùng của ông. Nằm trong kế hoạch trang trí của mình, ông cho dựng một
con đại bàng bằng vàng bên trên lối vào chính của Ngôi đền. Người Do
Thái lưu vong khá hài lòng về việc này, song người Do Thái sùng đạo của
kinh đô trong đó có người Pharisee thì phản đối mạnh mẽ, một nhóm học
sinh Torah đã trèo lên và đập nó ra thành từng mảnh. Herod lúc này đang
ốm, nằm trong cung điện của mình gần Jericho, nhưng ông vẫn làm việc
với nhiệt huyết và sự tàn bạo đặc trưng. Thầy cả bị bãi nhiệm. Nhóm học
sinh được xác định, bị bắt giữ, xích lại, đưa tới Jericho, mang ra xét xử ở
nhà hát La Mã tại đó, và bị thiêu sống. Giữa lúc làn khói của lễ hiến sinh
cho sự hào phóng và lòng tự trọng bị tổn thương của ông vẫn đang bay lên,
Herod được đưa bằng cáng tới suối nước nóng ở Callirrhoe, nơi ông qua
đời vào mùa xuân năm 4 TCN.
Kế hoạch của Herod cho vương quốc của mình không mang lại hiệu quả, vì
những người thừa kế gia sản của ông - các con trai của ông với Doris,
người vợ đầu dòng dõi Nabatea - là đám vô dụng. Archelaus, người mà ông
để lại ở Judaea, bị người La Mã phế truất vào năm 6. Sau đó, Judaea được
những người đại diện La Mã đến từ Caesarea cai trị trực tiếp, họ chịu trách
nhiệm trước giáo sĩ đại diện Giáo hoàng La Mã ở Antioch. Cháu trai của vị
vua già, Herod Agrippa, là người có năng lực, và vào năm 37 người La Mã
đã trao Judaea cho ông. Nhưng rồi ông qua đời năm 44, khiến Rome không
có sự lựa chọn nào khác ngoài việc áp đặt chế độ cai trị trực tiếp một lần
nữa. Cái chết của Herod Đại đế trên thực tế chấm dứt giai đoạn cuối cùng
của chế độ cai trị Do Thái ổn định ở Palestine cho tới tận giữa thế kỷ 20.