Người Do Thái lại bị cấm bén mảng tới thành phố, nhưng Hoàng đế
Julian ngoại giáo lên ngôi đã tạm hoãn lại. Việc tái thiết đền thờ Do Thái đã
bắt đầu năm 363, nhưng các trình thuật của Kitô giáo viết là nó bị cản trở
bởi vụ động đất kỳ lạ làm cháy rụi tòa nhà. Cái chết của Julian đã chấm dứt
dự án. Những cuộc hành hương của Kito giáo tới những nơi thánh tăng lên.
Những cuộc chiến giữa Byzantium và Ba Tư đã để quân Ba Tư chiếm
Jerusalem năm 614 với sự giúp đỡ của các đồng minh Do Thái. Quân Ba Tư
đã phá hủy phần lớn nhà thờ và trong một thời gian ngắn giao thành phố
cho người Do Thái, nhưng sau đó trả lại cho người Kito giáo và để cho các
nhà thờ được tái thiết. Hoàng đế Byzantium là Heraclius tái chiếm
Jerusalem năm 629.
Những cuộc chiến đã làm tiêu hao cả hai đế chế, và trong vòng vài
năm cả hai đã rơi vào tay các lực lượng Hồi giáo bùng phát ở Ả Rập. Đối
với Hồi giáo, Jerusalem là hướng cầu nguyện (qibla), trước khi các tín đồ
Hồi giáo quay về Mecca. Người Hồi giáo chiếm Jerusalem năm 638 một
cách bình lặng và kính cẩn, một việc hiếm thấy ở Thành Thánh.
Vua Hồi thứ hai, Omar Ibn al-Khattab, là vị vua ngoan đạo, đã bảo
đảm sự tự do tôn giáo và tôn trọng các vùng đất thánh, cho phép 200 gia
đình Do Thái định cư ở Jerusalem sau khi họ bị người Byzantine tống khứ.
Theo một trình thuật của Ả Rập, Omar được Giáo trưởng Sophronius chào
đón và dẫn đi xem các vùng đất thánh. Omar đã từ chối lời mời để cầu
nguyện ở Mộ Thánh, "Nếu tôi cầu nguyện ở nhà thờ, tôi sẽ không còn ngai
nữa, vì các Tín đồ sẽ nắm ngay việc này và bảo: Omar đã cầu nguyện ở đó"
Sau đó ông được dẫn đi xem Temple Mount, "thánh đường Hồi giáo
của David" như ông đã gọi nó, nhưng ông bị choáng khi thấy nó đã bị người
Kitô giáo biến thành đống phân. Rác chất đống giữa đường cho tới cửa,
buộc ông phải lê bước để tới nền đền thờ. Omar làm gương bằng cách phủi
rác dính vào áo lông lạc đà của ông. Theo một nhà biên niên sử, ông đã chủ
