V.N. Merculov sinh năm 1895 tại thành phố nhỏ Zacatala ở Azerbaijan.
Ông học trường cao đẳng kỹ thuật Baku cùng với Beria và các cán bộ an
ninh kỳ cựu như Goglidze, Cobulov, Diafar Bagirov. Merculov học cao hơn
các đồng chí của mình: sau đó ông lên Thủ đô (Peterburg) và năm 1913 vào
học khoa toán - lý Đại học tổng hợp Peterburg. Như vậy Merculov là người
có học vấn cao nhất trong ê-kíp của Beria và có thể trong số lãnh đạo cơ
quan an ninh nói chung (kế nhiệm ông sau này là Abakumov mới học hết
lớp 4).
Nhưng (hoặc có thể do đó), Merculov vào Đảng muộn hơn: mãi năm
1925. Ông đã kịp phục vụ trong quân đội Sa hoàng, rồi trong Hồng quân.
Làm công tác giảng dạy ba năm. Năm 1921 ông được lấy vào ủy ban An
ninh Gruzia và làm ở đó 10 năm. Đến năm 1931, khi Beria trở thành Bí thư
thứ nhất Trung ương Đảng Cộng sản Gruzia thì lấy Merculov về làm công
tác Đảng. Beria thích Merculov ở học thức và tính chấp hành. Ngoài ra,
Merculov có viết tập sách mỏng "Người con trung thành của Đảng Lênin
và Stalin" nói về Beria.
Năm 1937, Beria đưa Merculov về Matxcơva cùng mình. Bản thân Beria
nhận chức Thứ trưởng thứ nhất Bộ Nội vụ (để chuẩn bị thay Ejov) kiêm
Tổng cục trưởng Tổng cục An ninh quốc gia, bèn cử Merculov làm phó của
mình, phong hàm Chính ủy An ninh quốc gia hạng ba (tương đương với
Trung tướng trong quân đội).
Khi Beria trở thành Bộ trưởng năm 1938, Merculov làm Phó thứ nhất và
Tổng cục trưởng Tổng cục An ninh quốc gia, phụ trách cả tình báo, phản
gián và bảo vệ các ủy viên Bộ Chính trị.
Năm 1939, sau khi Tây Ucraina tách khỏi Ba Lan nhập vào Liên Xô,
Merculov đã đi Lvov để chỉ đạo chiến dịch phát hiện và xử lý các phần tử
nguy hiểm ở khu vực mới sáp nhập vào Liên Xô này. Năm 1940, ông đã
trực tiếp phụ trách việc xử bắn các sĩ quan tù binh Ba Lan ở Khatưn.
Khi chiến tranh nổ ra, các trại lại tràn ngập làn sóng tù nhân mới: đó là
những người không thực hiện quy định của chính phủ về việc đem nộp máy
thu thanh cá nhân cho ủy ban quận, huyện, những người "loan tin thất thiệt"
về việc quân Đức sắp tấn công và loan tin thắng trận của địch hoặc "ca ngợi
