Và cũng giống như sau lần đỗ đạt trước, Phan Phu Tiên được bổ nhiệm
làm Đồng tu sử ở Quốc sử quán, đồng thời có tham gia dạy học ở Quốc tử
giám. Có điều thú vị, mặc dù được giao nhiệm vụ chính là chép sử, song
việc đầu tiên ông hiến cho đời - ít nhất theo những gì chúng ta biết ngày nay
- lại là... chép thơ. Đúng hơn, biên soạn thơ của người đời trước cho đến thời
mình. Có một thực tế là thơ từ thời Trần trở về trước chỉ có những tập riêng
của một số người, mà chưa có một hợp tuyển nào giúp lưu lại cho mai sau
một cách hệ thống. Chính Phan Phu Tiên là người đầu tiên làm việc đó. Ông
đã sưu tập thơ của 119 nhà thơ từ thời Trần đến đầu thời Lê, tất cả gồm 624
bài được tập hợp trong một tuyển tập mà ông đặt là Viêt âm thi tập. Gọi là
"Việt âm" là có ý nói rằng, thơ tuy được viết bằng chữ Hán nhưng lại là của
người Việt, phát âm theo kiểu người Việt. Năm 1433, Phan Phu Tiên đã viết
bài Tựa cho tập sách để nói rõ việc làm của mình: "... các tập thơ truyền ở
đời, qua cơn binh hỏa, chẳng còn được mấy... Phu Tiên này chẳng nề nông
cạn, vốn xưa nay nghe thấy được những gì về thơ, đều ghi lại tất cả, dù đó là
những bài thơ hay có quan hệ đến nước nhà, hoặc những câu bình dị của các
bậc hiền ngu, gộp lại được một số, gọi là Việt âm thi tập". Việc chưa xong
thì đến năm 1435, ông được triều đình bổ đi làm An phủ sứ (người đứng đầu
cơ quan hành chính) ở lộ Thiên Trường (Nam Định) rồi Hoan Châu (Nghệ
Tĩnh). Công việc của ông sau đó được Chu Xa tiếp nối và sách Việt âm thi
tập được khắc in năm 1459.
Sự nghiệp quan trọng nhất của Phan Phu Tiên mà nói đến ông người ta
nghĩ đến ngay là biên soạn bộ Đại Việt sử ký tục biên. Năm 1448, sau một
thời gian làm An phủ sứ, ông được vua Lê Nhân Tông vời về kinh, giao cho
làm việc ở Quốc sử quán. Theo lệnh vua, Phan Phu Tiên bắt tay biên soạn
phần Tục biên, tiếp nối bộ quốc sử đầu tiên của đất nước đã được bắt đầu từ
Lê Văn Hưu trước đó gần hai thế kỉ. Bộ Đại Việt sử ký tục biên ghi lại lịch
sử nước ta từ đời Trần Thái Tông (1226) đến khi quân Minh bị Bình Định
Vương Lê Lợi đánh cho thua phải rút về nước (1427). Sách hoàn thành năm
1455, khi Phan Phu Tiên đã 84,85 tuổi. Sau này, Ngô Sĩ Liên đã dựa vào
cuốn sách này để biên soạn những phần có liên quan trong Đại Việt sử ký
toàn thư. Nhờ đó, mặc dù phần Tục biên của Phan Phu Tiên sau không còn,
