Một tháng sau khi nhận chức, Andropov viết một bản báo cáo gửi Ban
chấp hành Trung ương về tình hình hoạt động của các lực lượng phá hoại
ngầm, các xu hướng dân tộc chủ nghĩa và tôn giáo phản động, ảnh hưởng
của văn hoá phương Tây đối với thanh niên, và sau đó được Bộ Chính trị
nhất trí, Andropov cho thành lập trong KGB một đơn vị mới gọi là Tổng
cục 5, bao gồm một số vụ như Vụ phụ trách công tác với giới trí thức, với
thanh niên sinh viên, Vụ phụ trách quan hệ dân tộc, tôn giáo, vấn đề chủ
nghĩa sionit (tức Do Thái), vụ phụ trách công tác với những nhân vật bất
đồng chính kiến nổi tiếng nhất (như Soljenitsyn, Sakharov).
KGB dưới thời Andropov đã tìm được những cách tiếp nhận cương
quyết nhưng mềm dẻo và có hiệu quả đối với những thành phần tế nhị
trong xã hội.
Người ta cho rằng nếu không phải Andropov mà một người khác đứng
đầu KGB, quy mô bắt bớ và khủng bố có thể đã lớn hơn nhiều. Đúng là
như vậy. Những năm Brejnev làm Tổng Bí thư và Andropov làm Chủ tịch
KGB là thời kỳ ổn định nhất về chính trị - xã hội của Liên Xô. Điều này
một phần cũng do ở tư chất của các nhà lãnh đạo đó. Một lần Brejnev nói
chuyện với nhà văn K.Simonov:
- "Chừng nào tôi còn sống - và sửa lại - có nghĩa là chừng nào tôi còn
ngồi ở đây, sẽ không có đổ máu".
Phải là một nhà lãnh đạo khoan hoà như Brejnev để mà giữ xã hội Liên
Xô bình ổn trong hai chục năm. Và cũng phải có một trí tuệ sắc sảo và tư
chất tinh tế, điềm đạm như Andropov thì mới nghĩ ra được một hệ thống
kiểm soát xã hội về mặt tư tưởng - tinh thần một cách tổng thể và toàn bộ
như thế.
Song le, thời Andropov cũng là thời mà số người mắc bệnh tâm thần hơi
nhiều so với các giai đoạn khác.
Những công dân bị buộc tội theo điều 70 (tội "tuyên truyền chống chế
độ") và theo điều 190 (được đưa vào dưới thời Brejnev, chỉ tội nhẹ hơn: tội
"phổ biến những thông tin thất thiệt có hại cho chế độ Xô viết") phần lớn bị
đưa đi các cơ sở điều trị bệnh tâm thần. Đó là hình thức cải tạo người bất
đồng chính kiến nhân đạo hơn so với thời Stalin.