Năm Tự Đức thứ nhất (1848) vì lời ông nói thẳng bị quan lại gièm pha tâu với Tự Đức, ông bị bãi chức, liền trở về quê. Gặp lúc Bắc Kỳ có giặc, hãm phủ Thiên Quan, ông đưa con em, học trò ra tòng quân, thu lại tỉnh thành. Việc đến tai vua, vua sai ông làm Bang biện tỉnh Ninh Bình. Ít lâu sau ông lại được thăng Thị độc học sĩ bổ làm Bố chính Thái Nguyên. Ông làm quan trải ba triều vua Minh Mệnh, Thiệu Trị, Tự Đức.

Ông là vị quan một lòng thương dân, lo cho dân. Khi ông làm tri huyện Quỳnh Lưu (Nghệ An), ở ấp Thạch Đồng vì đói kém, thuế khóa nặng nề, dân bỏ đi. ông giảm, miễn thuế, trợ cấp cho dân nghèo. Do thực hiện chính sách cởi mở, những người bỏ quê đã hồi hương. Nhớ ơn ông, khi ông mất, dân ấp Thạch Đồng lập đền thờ ông.

Vào một năm Hà Nội, Ninh Bình gặp lụt đói kém, Vũ Phạm Khải thương xót, nhưng ông không có đủ quyền hạn để giải quyết, đã viết thư cho bạn làm quan ở hai tỉnh đó từ cho quan lại địa phương xem xét kỹ càng tình hình thiệt hại để có biện pháp cứu giúp.

Có lần vua cử Vũ Phạm Khải về Bắc Kỳ kinh lý. Khi đến huyện Kim Động (Hưng Yên) gặp lúc địa phương bị tai hại, mà trong huyện thành vẫn hát xướng, ông đã dâng sớ hặc xin cách chức viên tri huyện Kim Động. Trong sớ có câu: “Ngoài thành khóc, mà trong thành hát, không có lòng trắc ẩn không phải là cha mẹ dân”. Sau đó viên tri huyện này bị cách chức.

Trong thời gian về nghỉ ở quê (1849-1856) ông đã cùng Nguyễn Công Trứ khai khẩn vùng đất bồi Kim Sơn – Văn Hải ở gần quê nhà, lập ra ấp Tuy Định. Khi ông mất nhân dân ấp Tuy Định đã nhờ Phạm Văn Nghị, bạn thân của ông ở Nam Định làm bài văn tế, nhắc đến công đức của ông, trong đó có đoạn:

“Có một điều mà cụ xưa thường nói: đất cát là để nuôi sống người. Phượng Tài ta có một phần bãi bể, đem người làng và con em ra mở mang lập ấp, một mặt để thêm thuế khóa cho nhà nước, một mặt để làm nơi sinh sống cho mọi người của ta…, đến nay đã được nhiều năm có kết quả, việc đó là nhờ có sức cụ mở mang từ nhiều năm mới có được. Nay cụ mất đi, nhưng việc làm vẫn còn đó. Thế là cụ vẫn sống mãi”.

Vì ông có công lao, cha được tặng Nghi đại phu Hàn lâm viện thị độc, tên thụy là Đoan Trực, mẹ được tặng Ngũ phẩm nghi nhân.

Năm 1858, giặc Pháp đánh phá bán đảo Sơn Trà, năm 1859 đánh chiếm ba tỉnh miền Đông Nam Kỳ. Triều đình Huế hoang mang, sợ hãi. Vũ Phạm Khải đã kiên cường đứng về phe chủ chiến. Ông cũng viết nhiều văn kiện chống nghị hòa gửii vua Tự Đức như “Biện hoặc luận”, “Lỗ Trọng Liên bất đế Tần luận”, “Hòa nhung luận”.

Khi Đại đồn Kỳ Hòa thất thủ, thực dân Pháp ép triều đình Huế hòa nghị. Vũ Phạm Khải khi đó đang ở Quốc sử quán đã dâng sớ lên Tự Đức nói cái hại của sự giảng hòa và bàn nên cử chiến tướng ra trận.

Ba tỉnh Miền Đông Nam Kỳ mất, lòng ông đau xót vô cùng. Nhưng ông biết tai họa cho đất nước không dừng ở đấy âm mưu của giặc thôn tính nước ta ngày càng lộ rõ. Ông lại dâng sớ lên triều đình bàn kế phòng thủ và quyết chiến với giặc. Nhưng lúc này triều đình dấn sâu vào con đường đầu hàng, bỏ ngoài tai bất cứ sớ, tấu, kiến nghị nào nói về đánh giặc.

Quân Pháp nuốt gọn ba tỉnh miền Đông, lại có âm mưu chiếm ba tỉnh miền Tây, chúng phái tên Vial từ Gia Định ra Huế đòi triều đình nhường nốt ba tỉnh miền Tây cho chúng. Triều đình đem ra bình nghị. Vũ Phạm Khải cũng được tham dự. Cuộc bình nghị đa số các quan đều ngả về chủ hòa, khiến ông bất bình. Các đại thần nhìn ông có ý muốn ông phát biểu trước. Ông thẳng thắn nói:

“Lòng tham của giặc không bao giờ chán, ta đã chót lầm lỡ một lần, hay còn lầm thứ hai nữa? Nhất định không thể cho chúng nó được”.

Cuộc bình nghị đa số các quan đều ngả về chủ hòa, không giữ được bình tĩnh, ông lớn tiếng:

“Chiến sĩ đời xưa không nói hòa, chiến sĩ đời nay chỉ một mực nói hòa. Quan võ đời xưa không sợ chết, quan võ đời nay chỉ một mực sợ chết, sao mà đời nay lại khác hẳn đời xưa như vậy!”.

Năm Tự Đức thứ 18 (1865), Vũ Phạm Khải làm Thị độc học sĩ sung Toản tu sử quán. Khi đó ở Nam Kỳ giặc Pháp ráo riết đánh ba tỉnh miền Tây. Trong một số lần triều đình họp, Khải được dự, ông đều đứng về phe chủ chiến là đánh, chỉ có đánh mới giữ được chủ quyền đất nước. Song ông chỉ là một quan nhỏ, những người trong phe chủ chiến đã bị gạt ra khỏi triều chính, nên ông rất buồn phiền.

Năm 1868, ông được cử làm thương biện để ngăn giữ vỗ yên công việc Ninh Bình. Chính trong thời gian này ông đã giúp nhân dân Ninh Bình chấn hưng nông nghiệp, hoàn chỉnh các công trình dẫn thủy nhập điền ở vùng đất mới khai hoang.

Năm Tự Đức thứ 23 (1870), Vũ Phạm Khải làm quyền biện Bố chính sứ ở Thái Nguyên. Tỉnh này đã bị giặc tàn phá nhiều năm, dân tình điêu đứng. ông tới Thái Nguyên mới được vài tháng, đang ổn định tình hình thì đột nhiên giặc là Đặng Chí Hùng kéo tới. Tỉnh không có viện binh, tình thế rất gấp, Vũ Phạm Khải đưa thư dụ Chí Hùng việc họa phúc. Đồng thời ông cấp báo về kinh, vua nhận được thư liền cho Tham tán Lê Bá Thận hợp với tuần biên Trần Văn Mỹ đánh dẹp. Vũ Phạm Khải đóng đồn ở châu Bạch Thông, bị giặc vây hãm và bị bắt. Vua nghe tin kíp sai bày cách cứu về.

Vì thua trận, Vũ Phạm Khải bị giáng ba cấp lưu dùng, bổ làm Tả thị lang bộ Hình, kiêm sung sử quán Toản tu. Ông tới kinh bị đài thần hặc tâu, vua sai giao xuống đình luận. Việc chưa xét thì ông bị ốm chết vào ngày 22 tháng chạp năm Tân Mùi. Khi ông mất có nhiều câu đối phúng viếng. Trong đó có đôi:

Phiên âm:   VÃN ĐÔNG DƯƠNG TIÊN SINH

Tâm sự như bạch nhật thanh thiên, lỗi lỗi
Thần khí tại Càn nhai bãng lĩnh thương thương thế thế.

Dịch nghĩa:   VIẾNG ĐÔNG DƯƠNG TIÊN SINH

Tâm sự giữa trời xanh, ngày rộng quang minh chính đại
Tinh thần nên núi thẳm cùng mây thương cảm thê lương.