Thành phần ban lãnh đạo Ủy ban đặc biệt do Lê nin phê chuẩn ngày
29/7/1920 gồm 13 người là: Dzerjinsky, Kedrov, Peters, Avanesov,
Ksenofontov, Mansev, Latsis, Messing, Menjinsky, Yagoda, Kornev. Chỉ có
Dzerjinsky và Menjinsky ốm chết, còn những người khác số phận sẽ do
Stalin định đoạt.
Yagoda làm Chánh Văn phòng Ủy ban đặc biệt, là cánh tay phải của
Dzerjinsky, rất được Dzerjinsky tín nhiệm. Năm 1923, Dzerjinsky đề bạt
Yagoda làm Phó Chủ tịch thứ hai của Ủy ban đặc biệt. Khi Menjinsky được
thăng chức, Yagoda thay Menjinsky làm Cục trưởng Cục đặc biệt, theo dõi
nội tình quân đội, sau đó lãnh đạo toàn bộ công tác tình báo.
Trotski vẽ lại bức chân dung Yagoda khi đến báo cáo tình hình với ông là
"một anh chàng gầy gò, da mặt xam xám (Yagoda mắc bệnh lao), ria mép
tỉa ngắn, gây ấn tượng về một con người rất chính xác và rất có lễ độ".
Sau khi Dzerjinsky mất, Menjinsky trở thành Chủ tịch Ủy ban đặc biệt vì
hơn những người khác trong ban lãnh đạo cả về tuổi đời, tuổi Đảng và kinh
nghiệm công tác. Nhưng Yagoda cũng trở thành không những là Phó thứ
nhất của Menjinsky mà còn là lãnh đạo thường trực của cơ quan, lãnh đạo
bộ máy, điều hành các công việc tác chiến vì Menjinsky ốm đau luôn.
Yagoda còn trực tiếp lãnh đạo Cục tác chiến bí mật, tức là phụ trách các
vấn đề chính trị, mà cụ thể hơn nữa là vấn đề đấu tranh với các phần tử
chống Liên Xô.
Năm 1930, Yagoda nhận Huân chương CỜ ĐỎ thứ hai. Sau này, do công
lao trong việc xây dựng kênh đào Belomor - Bantich, ông còn được tặng
thưởng Huân chương Lênin.
Nhưng con đường đi lên của Yagoda không phải suôn sẻ. Hoá ra trong
nội bộ cơ quan, Yagoda có nhiều kẻ thù. Phó Chủ tịch ủy ban là M.Trissler
chống lại ông, nhưng đã bị Stalin thuyên chuyển đi nơi khác. Cục trưởng
Cục tác chiến bí mật Evdokimov và Cục trưởng Cục công tác nước ngoài
Messing và Cục phó Cục tình báo Artuzov cũng không phục ông. Đến lúc
đó, Stalin bắt đầu để ý xem vấn đề ở chỗ nào. Năm 1931, Yagoda từ Phó
Chủ tịch thứ nhất bị chuyển xuống làm một trong mấy Phó Chủ tịch thứ
