Năm Đinh Dậu (1837) khi ông 33 tuổi, đậu Hương cống. Năm Mậu Tuất (1858) ông 34 tuổi, đậu hoàng giáp. Ngay sau khi thi đỗ, ông được bổ làm Hàn lâm viện Tu soạn, sau được bổ làm Tri phủ Lý Nhân.

Năm 1852, ông cùng với người anh là Phạm Văn Thạch cùng 14 sĩ phu các tỉnh Nam Định, Hưng Yên đứng ra chiêu tập dân nghèo lưu tán đến khai hoang, đắp đê, lấn biển, thau chua rửa mặn lập nên trại Sĩ Lâm. Sau trại phát triển thành tổng Sĩ Lâm rồi cả miền hạ huyện Nghĩa Hưng với hàng chục làng xã mới được thành lập.

Ngày 1/9/1858, Liên quân Pháp – Tây Ban Nha tấn công bán đảo Sơn Trà (Đà Nẵng) sau đó đánh Gia Định. ông tổ chức một đội quân “quân Nghĩa dũng” vào Đà Nẵng đánh giặc Pháp.

Ngày 21/6/1860, đoàn quân Nam tiến của Phạm Văn Nghị tới kinh đô Huế. Khi đó quân Pháp đã rút khỏi Đà Nẵng tập trung binh lực đánh phá ba tỉnh miền Đông Nam Kỳ. Phạm Văn Nghị xin vua Tự Đức cho vào Nam Kỳ đánh Pháp. Với tư tưởng đầu hàng giặc, Tự Đức lấy cớ quân sĩ gian lao, bắt đoàn quân Nam tiến phải quay trở lại Nam Định. Phạm Văn Nghị không thể chống lại lệnh vua, cùng đoàn quân đem theo nỗi bất bình trở ra Bắc.

Ngày 10/12/1873, giặc Pháp cho tầu Xcoocpiông theo sông Đáy đến làng đạo Vĩnh Trị để phối hợp với bọn phản động trong đạo Thiên Chúa giáo đã được cố đạo Puyginiê vũ trang làm nội ứng khi quân Pháp tấn công. Song Tú tài Phạm Đăng Hài (con trai Phạm Văn Nghị) đã chỉ huy nghĩa quân tấn công quân đạo trước khi tàu Pháp tới khiến chúng tan rã. Tàu giặc tới ngã ba sông Đào chảy vào sông Đáy thuộc địa phận huyện Ý Yên thì bị gần 1000 nghĩa quân do Phạm Văn Nghị chỉ huy đóng ở đồn Độc Bộ và quân của Lãnh binh Nguyễn Văn Lợi đóng ở đồn Phù Sa chặn đánh. Không ngờ lãnh binh Nguyễn Văn Lợi khiếp sợ kéo quân tháo chạy chỉ còn một mình Phạm Văn Nghị chỉ huy quân sĩ chống giữ, mãi đến khi súng hỏng, đạn hết mới chịu rút lui.

Với tinh thần có trách nhiệm với đất nước, ông cho rằng trận thua ở Độc Bộ là do mình tài năng kém, làm chưa hết phận sự của người làm tướng, liền trầm mình dưới sông tự vẫn đến hai lần. Những người đi theo vớt được đưa về thuốc thang chạy chữa. Đẩy lùi được quân ta ra khỏi đồn Độc Bộ, quân Pháp tràn vào đồn phá hủy súng thần công các cỡ rồi tiếp tục cho tầu tiến về tỉnh thành Nam Định, ngày 11/12/1873 thành Nam Định rơi vào tay giặc Pháp.

Năm 1874, triều đình Huế ươn hèn, sợ giặc đã ký Hòa ước với chúng, buộc Phạm Văn Nghị phải giải tán Nghĩa quân, cử ông làm Bang biện. Ông lấy cớ tuổi già xin nghỉ về dưỡng bệnh. Nhưng triều đình Huế sợ giặc Pháp vì vẫn sử dụng người chống Pháp, nên trước khi ông nộp đơn đã nghị án rằng trước đây ông đã không giữ được tỉnh thành Nam Định, nên cách hết chức tước của ông. Ông về ở ẩn tại động Liên Hoa (Gia Viễn – Ninh Bình).

Giặc Pháp ngày càng bành trướng, triều đình thì ký Hiệp ước đầu hàng giặc Pháp, ngăn cấm nhân dân tuyên truyền, vũ trang chống Pháp. Phạm Văn Nghị xem chừng không có cơ hội đánh được giặc, ông di cư về làng Hóa Thiên tổng Bồng Hải, phủ Yên Khánh, tỉnh Ninh Bình mở trường dạy học, học trò đến học rất đông…

Trước cảnh nước mất, nhân dân lầm than, ông buồn chán mất ngày 11 tháng 1 năm Canh Thìn (1880) thọ 76 tuổi. Triều đình truy phục hàm Hàn lâm viện Thị độc học sĩ.