Một trong những nhiệm vụ đầu tiên đặt ra trước ban lãnh đạo KGB là
thanh toán trong một thời gian ngắn những hậu quả của hoạt động phá hoại
của Beria và "biến cơ quan an ninh thành vũ khí sắc bén của Đảng, chống
những kẻ thù thực sự của Nhà nước xã hội chủ nghĩa, chứ không phải
chống lại những người trung thực".
Sau hai năm, Serov đã thay toàn bộ lãnh đạo các cục chủ yếu của ủy ban
bằng các cán bộ từ Trung ương Đảng, và tuyển các cán bộ quân đội về bổ
sung cho hàng ngũ sĩ quan. Thời gian đầu, trên các cuộc họp, Serov tập
trung tố cáo Beria và những "kẻ thù của nhân dân", kêu gọi nâng cao cảnh
giác cách mạng, tuân thủ pháp luật và những nguyên tắc sinh hoạt Đảng.
Đến khi chiến dịch phê phán và thanh lọc lãnh đạo cũ lắng xuống, Serov
mới bắt tay vào khôi phục công tác tình báo đã bị bỏ bễ một thời gian.
Serov cũng đã tiến hành một cuộc sàng lọc lớn các hồ sơ lưu trữ của An
ninh quốc gia, trước hết là những tài liệu làm mất uy tín Đảng và Chính
phủ. Suốt mấy ngày trời, khói bốc lên từ sân trong của KGB ở Lubianka -
nơi huỷ các tài liệu, và ô tô chở hồ sơ từ Thành ủy Matxcơva mang đi - nơi
mà Khruschov đã từng làm Bí thư thứ nhất, để thủ tiêu tung tích dính líu
của Khruschov đến các vụ khủng bố. Vì vậy mà Khruschov đi tới Đại hội
20 với một sự sẵn sàng vạch trần cái cũ. Hành động của Khruschov tại Đại
hội 20 ngoài việc nhằm trút bỏ gánh nặng của quá khứ và minh oan cho
những người vô tội, còn nhằm một mục đích chính trị là đánh vào uy tín
của các đối thủ cạnh tranh của ông ta là Malenkov, Molotov, Kaganovich.
Bản báo cáo mật của Khruschov chống tệ sùng bái cá nhân của Stalin
được trình bày tại cuộc họp kín của Ban chấp hành Trung ương sau khi Đại
hội đã bế mạc. Có người cho rằng sở dĩ như vậy là vì Khruschov chỉ quyết
định làm điều đó vào phút cuối cùng. Không phải như vậy. Bản báo cáo lớn
này đã được chuẩn bị một cách công phu từ trước Đại hội và đã được thảo
luận nhiều lần trong Ban chấp hành Trung ương. Nhưng, như Voroshilov
lão thành đã nhận xét, sau khi nghe bản báo cáo như vậy thì không ai còn
bầu chúng ta vào Ban chấp hành Trung ương nữa. Có lẽ vì thế mà việc
công bố bản báo cáo lịch sử được gác lại sau khi đã có kết quả Đại hội.
Beria có lưu giữ hồ sơ về tất cả các cán bộ lãnh đạo.