ông gặp Georghi Jukov lúc đó vừa mới được phong Đại tướng và được bổ
nhiệm làm tư lệnh quân khu Kiev. Hai người này sẽ đóng vai trò quyết định
trong cuộc đời công tác sau này của Serov.
Serov đến Kiev nhận công tác được hai tuần thì Liên xô tuyên chiến với
Ba Lan. Hồng quân Liên Xô tiến vào Tây Ucraina và sáp nhập Tây Ucraina
vào Liên Xô. Bắt đầu công việc thanh lọc các lãnh thổ mới được giải phóng
khỏi các phần tử chống chính quyền Xô viết: các sĩ quan, cảnh sát, các nhà
hoạt động chính trị, trí thức Ba Lan. Công việc mà Bộ Nội vụ đã tiến hành
trên lãnh thổ Liên Xô trong 20 năm, thì phải tiến hành ở đây trong một thời
gian ngắn.
Serov công tác ở Ucraina được một năm nữa. Tháng 2/1941, khi Bộ Nội
vụ chia làm hai bộ, ông được gọi về Mátxcơva làm Thứ trưởng thứ nhất Bộ
An ninh quốc gia (Bộ trưởng là Merculov). Nửa năm sau, khi hai bộ lại
nhập làm một, Serov làm Thứ trưởng Bộ Nội vụ, phụ trách Công an, cứu
hoả, quản lý trại giam và công tác tù binh, và cùng với Beria thực hiện công
việc di dân.
Tháng 8/1941, theo lệnh của Stalin, họ đã hủy bỏ nước cộng hoà tự trị
của người Đức ở vùng Volga và di chuyển tất cả người gốc Đức rời xa
phòng tuyến về các vùng Sibir, Altai và Kazakhstan. Serov đã huy động
mấy nghìn cán bộ Bộ Nội vụ thực hiện công việc này trong vòng hai tháng.
Năm 1944, một cuộc di dân nữa đã được thực hiện.
Lãnh đạo chiến dịch di dân lần này là Beria, có sự phân công hợp tác của
các phó của ông. Stalin rất coi trọng việc này, sau đó đã tặng thưởng cho
Beria, Merculov, Serov, Kruglov, Kobulov và Abacumov Huân chương
Suvorov hạng nhất.
Tháng 7/1944, Serov cùng với Kobulov được tặng Huân chương Cờ Đỏ
vì việc "Thanh lọc Krưm khỏi các thành phần chống chính quyền Xô viết" -
đó là những người Tacta, Bun, Hy Lạp bị trục xuất khỏi Krưm.
Thời gian cuối chiến tranh, nhằm mục đích thanh lọc hậu phương của
Hồng quân theo đà phản công của quân Đức đã lập ra chức vụ đại diện Bộ
Nội vụ tại các phương diện quân. Serov được cử làm đại diện Bộ Nội vụ
bên cạnh Jukov - Tư lệnh phương diện quân Belorussia (Jukov đã giới thiệu
