Gerry là một trong số các đại biểu phát biểu nhiều nhất tại Hội nghị Lập
hiến năm 1787. Ông làm Chủ tịch Ủy ban soạn thảo Thỏa hiệp lớn, nhưng
bản thân lại không ưa thỏa hiệp này. Với tính cách thường nghi ngờ người
khác, nên hầu như ông chống lại tất cả các đại biểu khác và một đại biểu
tham dự Hội nghị này từng nói: "ông ta chống lại tất cả những gì ông không
đề nghị". Ban đầu, ông ủng hộ một chính quyền trung ương mạnh, nhưng
cuối cùng lại phản đối và từ chối ký vào Hiến pháp vì văn bản này thiếu
một Tuyên ngôn nhân quyền mà ông cho rằng đây là mối đe dọa cho nền
cộng hòa. Ông lãnh đạo phe chống đối việc phê chuẩn Hiến pháp ở tiểu
bang Massachusetts và tố cáo văn bản này là "đầy khiếm khuyết". Trong số
những khiếm khuyết này, ông liệt kê sự đại diện không bình đẳng của con
người, sự nguy hiểm của quyền lực nhánh lập pháp đầy tham vọng, việc
pha trộn hành pháp và lập pháp và mối nguy hiểm của một nhánh tư pháp
yếu thế. Dù Gerry cũng nhận thấy một số giá trị trong bản Hiến pháp và tin
rằng những thiếu sót này có thể được sửa chữa thông qua những tu chính
án. Năm 1789, sau khi đồng ủng hộ bản Hiến pháp, ông được bầu vào Quốc
hội Liên bang khóa đầu tiên. Tại đây, chán nản với phe chống Liên bang,
ông quay sang ủng hộ những chính sách của Đảng Liên bang.
Gerry rời khỏi Quốc hội vào năm 1793 và nghỉ hưu trong 4 năm. Trong thời
kỳ này, ông hiểu nhầm mục đích của Đảng Liên bang, đặc biệt là những nỗ
lực của họ nhằm gây dựng liên minh với Anh nên về phe với những người
Cộng hòa - Dân chủ thân Pháp. Năm 1797, Tổng thống John Adams bổ
nhiệm ông, với tư cách là thành viên duy nhất không phải là Đảng Liên
bang, vào một ủy ban ba người có nhiệm vụ đàm phán hiệp ước với Pháp
nhằm để tránh cuộc chiến tranh Pháp-Mỹ, hiện đang bên bờ miệng vực. Vụ
XYZ đã làm tổn hại uy tín của ông. Talleyrand, Bộ trưởng Ngoại giao
Pháp, thuyết phục ông tin rằng sự có mặt của ông tại Pháp sẽ ngăn chặn một
cuộc chiến tranh, nên Gerry nấn ná ở lại một thời gian dài sau khi John
Marshall và Charles Cotesworth Pinckney, hai đặc sứ khác đã rời Pháp.
Cuối cùng, Tổng thống Adams phải bực bội triệu hồi ông. Khi quay lại Mỹ,
Gerry phải chịu sự chỉ trích nặng nề từ phía Đảng Liên bang.
