Tháng 6 năm 1928, sau khi cha ông là Trương Tác Lâm bị quân Quan
Đông của Nhật bắn chết, ông được tiến cử làm thủ lĩnh Phụng Quân, giữ
chức vụ tổng tư lệnh bảo an tỉnh Đông Tam (nay là 3 tỉnh Liêu Ninh, Cát
Lâm, Hắc Long Giang). Bất chấp sự nghi kị phản đối của các vị nguyên lão
và sức ép của đế quốc Nhật Bản, Trương Học Lương vẫn đứng vững. Ông
quyết định thay đổi cờ hiệu từ cờ ngũ sắc của chính quyền Bắc Kinh cũ đổi
thành cờ thanh thiên bạch nhật của chính quyền quốc dân Nam Kinh. Ông
được bổ nhiệm làm tư lệnh quân đội biên phòng Đông Bắc và chủ tịch uỷ
ban quản lý sự vụ chính trị Đông Bắc.
Tháng 4 năm 1931, ông đã cho thành lập phòng tư lệnh hải, lục, không
quân Trung Hoa dân quốc. Ngoài việc chủ quản quân chính Đông Bắc ra,
ông còn kiêm quản lý điều hành quân vụ Hoa Bắc.
Trong thời gian cai quản Đông Bắc, ông ra sức đề xướng "xây dựng mới
Đông Bắc". Ông ra sức chỉnh đốn quân ngũ, chấn hưng công thương, xây
dựng đường sắt, mở mang bến cảng, khởi xướng giáo dục, đẩy mạnh thể
dục, phát triển khoa học kỹ thuật, khai khẩn nông nghiệp và đã lập được
chiến công trên rất nhiều mặt trận.
Sau biến cố "18 - 9", theo mệnh lệnh của Tưởng Giới Thạch, ông đã thực
thi chính sách không chống lại Nhật Bản nên tỉnh Đông Tam nhanh chóng
bị thất thủ, vì vậy ông bị mọi người mắng nhiếc là "Tướng quân đầu hàng".
Tư tưởng chủ lực của ông là: "Thuyết toàn quốc kháng chiến". Mặc dù hoàn
cảnh khó khăn, ông vẫn đã làm được một số công việc trong chiến tranh
kháng Nhật cục bộ. Ông là người khởi xướng thành lập và ủng hộ quân
Nghĩa Dũng kháng Nhật ở Đông Bắc, đồng thời cũng là người lãnh đạo và
chỉ huy quân kháng chiến Đông Bắc. Quân Đông Bắc đã lần lượt tiến hành
11 trận chiến quan trọng như: Đột vây Bắc Đại Doanh, đột vây Trường
Xuân, kháng chiến Hải La Nhĩ, kịch chiến Du Quan, trận chiến bảo vệ
Nhiệt Hà, kháng chiến Trường Thành. . mở ra một trang huy hoàng trong
lịch sử chiến tranh kháng Nhật 14 năm của quân Đông Bắc.