Trong hai năm 1956 - 1957, Vollveber nhiều lần lên tiếng phản đối
đường lối của Walter Wilbrikh, cụ thể là vấn đề Hungari dẫn tới hậu quả
ông bị cách chức bộ trưởng Bộ Nội vụ vào tháng 11 năm 1957. Đến tháng 2
năm 1958, ông phải ra khỏi Ban chấp hành Trung ương Đảng, về hưu vì
"tình trạng sức khỏe". Vollveber qua đời ngày 5 tháng 5 năm 1967 ở Đông
Berlin.