Trước đây, khi xem xét việc đề bạt Serov vào chức chủ tịch KGB, toàn
bộ Đoàn Chủ tịch Trung ương Đảng không tán thành, vì mọi người đều biết
Serov là nhà tổ chức chính các cuộc di dân thời Stalin. Chỉ nhờ có
Khruschov bênh vực và cố đặt Serov vào thì Serov mới trở thành Chủ tịch
KGB. Bây giờ, khi hạ chức của Serov, nguyên nhân này cũng được nêu ra,
nhưng thực chất là Khruschov nhớ rõ Jukov và Serov là bạn chiến đấu và
bạn thân của nhau. E.Khrutski, con rể của Serov kể rằng sau này có lần
Serov thổ lộ với anh là ông rất mừng với việc bị cách chức Chủ tịch KGB,
bởi vì lại được trở lại quân đội.
Serov làm việc được 5 năm ở Tổng cục trinh sát, vui hưởng cuộc sống và
công tác, thì xảy ra vụ gián điệp Penkovski làm ông choáng váng và mất
hẳn sự nghiệp.
Oleg Penkovski là đại tá quân báo, đã từng học trường pháp binh và
tham gia chiến đấu, làm tình báo, được Nguyên soái pháo binh Varentsov
sủng ái. Varentsov thân với Khruschov và xin với Serov cho Penkovski về
làm ở Tổng cục trinh sát. Serov nhận. Đến năm 1960 và 1962 Penkovski
làm gián điệp cho CIA (Mỹ) rồi cho Anh, và bị Toà án quân sự Liên Xô xử
bắn.
Khruschov vô cùng tức giận vì Penkovski đã làm lộ hết tiềm lực tên lửa
của Liên Xô. Serov bị cách mọi chức vụ Đoàn Chủ tịch. Trung ương Đảng
còn giao cho một ủy ban xem xét sự việc của Serov và đánh giá, kết quả là
do "mất cảnh giác chính trị", Serov bị hạ cấp từ Đại tướng xuống Thiếu
tướng và đặc biệt là tước mất danh hiệu Anh hùng Liên Xô là điều mà ông
tiếc nhất.
Serov về hưu năm 1965 và sống thêm một phần tư thế kỷ nữa. ông duy
trì một nếp sống điều độ: mùa hè đi đánh quần vợt ở nhà nghỉ quân đội,
mùa đông trượt tuyết, ít uống rượu và không hút thuốc lá. Ông lảng tránh
những câu chuyện về đề tài chính trị hoặc công tác. Thích nhớ lại những kỷ
niệm chiến tranh.
Serov qua đời năm 1990. Và đó cũng là cớ để O.Gordievski và đồng tác
giả người Anh của ông trong cuốn sách về KGB nghĩ ra thêm một huyền
thoại nữa về Serov là nguyên Chủ tịch của KGB tự sát.
