Gehlen, nhớ lại rằng có một người trong đám con cháu đó được điều đi làm
nhiệm vụ rất quan trọng và bí mật. Nhưng trong chương trình truyền hình
về Thế vận hội Olimpic tại Rome người ta lại thấy mặt anh ta được quay rõ
ràng trên khán đài sân vận động, là nơi anh ta không thể nào được phép lộ
diện.
Từ năm 1960, bắt đầu giai đoạn xế chiều của thời đại Gehlen. Hoàn
toàn bất ngờ với Gehlen và Cục của ông ta là việc xây dựng bức tường
Berlin. Điều này không chỉ là đòn giáng mang tính chất tinh thần vào thanh
danh của Cục mà còn làm mất đi điểm hoạt động liên lạc nối với các gián
điệp đang hoạt động trên đất Cộng hòa Dân chủ Đức. Đòn giáng thứ hai là
vụ bắt giữ và xét xử điệp viên Liên Xô Felfe, người nắm giữ chức vụ cao
trong Cục. Ông này xuất thân từ Cục An ninh Đế chế và tổ chức SS, nhờ đó
mà trở thành nhân viên của OG, và sau đó là Cục Tình báo Liên bang. Sự
kiện bắt giữ ông đã gây làn sóng chỉ trích mạnh mẽ trong xã hội Tây Đức
về việc sử dụng trong các cơ quan đặc vụ những sĩ quan quốc xã cũ. Mà
đặc biệt là chính tổ chức của Gehlen đã phạm sai lầm này.
Cũng trong năm 1963 này thủ tướng Erhard lên thay ông Adenauer.
Thủ tướng mới là người ít trọng thị Gehlen. Việc thủ tướng Kurt George
Kisinger lên nắm quyền và sự kiện thành lập "Đại Liên minh" (Liên minh
các đảng phái Tây Đức và Đảng Xã hội Dân chủ Đức), ở Tây Đức đã diễn
ra những thay đổi - đường lối của chính phủ lúc này theo xu thế phát triển
xã hội dân sự và hạn chế hoạt động phi pháp của Cục Tình báo Liên bang ở
bên trong đất nước.
Đến tuổi hưu (66 tuổi), tháng 5 năm 1968, Gehlen được miễn nhiệm.
Năm 1972 viên tướng này cho xuất bản tập hồi kí nhan đề Công vụ, hồi ức
1942-1971.
Năm 1979, tướng Gehlen mất ở tuổi 77.
