Hoàng Kế Viêm sinh ngày 21 tháng 7 năm Canh Thìn (1820), quê ở làng Văn La, tổng Văn Đại, phủ Quảng Ninh, tỉnh Quảng Bình, nhưng sinh ra ở Bình Hòa, nay là Khánh Hòa. Năm Minh Mệnh thứ 14 (1833), ông kết duyên với Hương La công chúa, con gái thứ 5 vua Minh Mệnh, nhưng chẳng bao lâu công chúa mất.

   Hoàng Kế Viêm theo học trường Quốc tử giám, năm 1843  đỗ cử nhân, ông ra làm quan sơ bổ Tư vụ, hàm Quang lộc Tự khanh. Năm Thiệu Trị thứ 6 (1846), lãnh Lang trung bộ Lại. Năm Tự Đức thứ 3 (1850), vì có tang mẹ, ông nghỉ 3 năm. Chưa đoạn tang, nhưng đầu năm 1852, miền Bắc có giặc cướp, vua triệu ông về kinh lĩnh chức Án sát Ninh Bình. Năm Tự Đức thứ 7 (1854) thăng Bố chính Thanh Hóa. Năm Tự Đức thứ 12 (1859) thăng chức Bố chính kiêm Tuần vũ Hưng Yên. Năm 1861, các tỉnh Hải Dương, Bắc Ninh, Quảng Yên bị giặc Tạ Văn Phụng, người công giáo, tay sai của thực dân Pháp tàn phá, nhưng tỉnh Hưng Yên do ông cai quản vẫn bình yên.

   Năm Tự Đức thứ 16 (1863), Hoàng Kế Viêm lãnh Tổng đốc An – Tĩnh, ông lo mở mang kinh tế, cho đào sông Thiết Cảng để thuyền bè qua lại dễ dàng.

   Đầu năm Tự Đức thứ 23 (1870) ông được đổi về triều. Ông đã thẳng thắn can ngăn vua bỏ săn bắn, chơi bời. Vua nghe theo. Triều đình thăng Hoàng Kế Viêm làm Lạng – Bình – Ninh – Thái Tổng đốc quân vụ đại thần (Lạng Sơn, Cao Bằng, Bắc Ninh (gồm cả Bắc Giang) Thái Nguyên (gồm cả Bắc Kạn). Hoàng Kế Viêm nhậm chức, đốc thúc quân sĩ chuẩn bị lực lượng chiếm đồn, đồng thời cho người tin cậy thu thập tình hình, tháng 12/1870, ông viết báo cáo về triều đình tình hình biên giới phía Bắc. Ông đã cầm quân đánh các toán phỉ trên vùng biên giới phía Bắc, trừng trị bọn quan lại tham nhũng, khoan hồng đối với những người bị quan lại áp bức mà mộ quân chống lại. ông cũng thu phục được tướng Cờ Đen Lưu Vĩnh Phúc, giao cho Phúc cai quân vùng đất Lào Cai ngày nay. Ông đã cùng với Kinh lược sứ Bắc Kỳ đề nghị với triều đình 9 điều cần phải làm đối với các tỉnh biên giới phía Bắc vừa bình định xong nạn thổ phỉ.

   Tháng 10/1871, theo đề nghị của Hoàng Kế Viêm, triều đình Huế đã quy định một số biện pháp để quản lý số người Trung Quốc ở Việt Nam từ Ninh Bình trở ra Bắc. Ngày 20/11/1873, quân Pháp đánh thành Hà Nội, Nguyễn Tri Phương tuẫn tiết, thành Hà Nội mất, quân Pháp đánh rộng ra các tỉnh Bắc Kỳ. Ngày 20/12/1873, Hoàng Kế Viêm giữ chức Thống đốc quân thứ Tam Tuyên.

   Tôn Thất thuyết, Tham tán quân thứ Tam Tuyên, tướng Cờ Đen Lưu Vĩnh Phúc, huy động quân ở một số quân thứ và nghĩa quân về phục kích ở Cầu Giấy và cho một toán quân vào Hà Nội khiêu khích giặc Pháp. Francis Ganier đang hội đàm buổi thứ hai với Trần Đình Túc ở trong thành. Thấy bên ngoài thành có động, Francis Garnier bỏ họp đem quân ra ngoài thành nghênh chiến rồi bị phục kích chết. Tàn quân của Garnier rút vào thành cố thủ. Hoàng Kế Viêm định đem quân về đánh thành Hà Nội, nhưng nghe lời bàn thiệt hơn của Hà Ninh tổng đốc Trần Đình Túc nên không động binh, đợi triều đìnhký Hòa ước.

   Lẽ ra nhân đà chiến thắng đó, Triều đình lệnh cho các quân thứ ở Bắc Kỳ cùng quân Cờ Đen áp đảo thành Hà Nội và các tỉnh thành Hưng Yên, Hải Dương, Ninh Bình, Nam Định và các đồn lính khác của quân Pháp thì triều đình sợ trở ngại cho thương lượng nên mật điều Hoàng Kế Viêm, Tôn Thất Thuyết, Lưu Vĩnh Phúc về phòng thủ ở quân thứ Tam Tuyên, không cho hoạt động ở Hà Nội nữa.

   Để thưởng công cho các tướng thắng trận Cầu Giấy, đồng thời cũng để tách các ông ra khỏi Hà Nội, tháng 3/1874 (tháng 2 năm Giáp Tuất), triều đình phong Hoàng Kế Viêm làm Hiệp biện đại học sĩ, phong tước Tử; Tôn Thất Thuyết làm Binh bộ Hữu Tham tri, phong cho tước Nam, Lưu Vĩnh Phúc làm Phó Lãnh binh quân thứ Tam Tuyên.

   Năm Tự Đức thứ 29 (1875) Hoàng Kế Viêm khuyến khích việc khai hoang, đắp đê sông Nhị Hà, mở mang trường học.

   Năm Tự Đức thứ 31 (1878) ông được thăng Đông các Đại học sĩ. Hai năm sau (1880), ông được phong Tĩnh biên sứ kiêm cả đạo Lạng Giang và Đoan Hùng.

   Ngày 25/4/1882, trung tá Hải quân Hăngri Rivierơ (Henri Rivière) theo lệnh của Thống đốc Nam Kỳ Lơ mía rơ Đơ vi lơ (Le myre se Vilers) rời Sài Gòn đem theo hai chiến hạm cùng 300 quân ra tăng cường cho lực lượng viễn chinh Pháp đánh chiếm Bắc Kỳ. Ngày 4/3/1882, Henri Rivière đóng quân ở Đồn Thủy nắm ,quyền chỉ huy tối cao toàn lực lượng viễn chinh Pháp đánh chiếm Bắc Kỳ. Ngày 25/4/1882, quân Pháp tấn công thành Hà Nội, đến 11 giờ thành Hà Nội vỡ. Tổng đốc Hoàng Diệu tuẫn tiết.

   Triều đình muốn thương thuyết đầu hàng Pháp, bắt Hoàng Kế Viêm phải đuổi quân Cờ Đen lên Tuyên Quang và Sông Đà, Hoàng Kế Viêm về đóng ở Thục Luyện (huyện Thanh Sơn, tỉnh Phú Thọ).

   Triều đình điều đình với Pháp không xong, ngày 12/3/1883, quân Pháp đánh chiếm Hòn Gai. Ngày 22/3/1883, Hoàng Kế Viêm kết hợp với Lưu Vĩnh Phúc đánh Hà Nội, nhưng không kết quả. Ngày 28/3/1883 quân Pháp đánh chiếm Nam Định. Sau khi thành Nam Định mất, Hoàng Kế Viêm bị triều đình giáng xuống hàm Tổng đốc.

   Ngày 19/5/1883, Hoàng Kế Viêm triệu tập tướng Lưu Vĩnh Phúc và một số tướng lĩnh khác lại kéo quân về Cầu Giấy, Hà Nội đánh một trận phục kích lớn, giết chết trung tá Hải quân Henri Rivière và những binh lính Pháp. Đây là trận thắng vô cùng lớn lao. Song triều đình sẵn có tư tưởng đầu hàng, nên đã ra lệnh rút quân về Kinh, nhưng Hoàng Kế Viêm không tuân lệnh đã chỉ huy quân dân chiến đấu bảo vệ thành Sơn Tây.

   Ngày 14/12/1883 quân Pháp do Đô đốc Cuốc bê chỉ huy tiến đánh thành Sơn Tây. Thành Sơn Tây thất thủ, Hoàng Kế Viêm về đóng quân ở Thục Luyện.

   Hoàng Kế Viêm về Huế bị giáng xuống Thượng thư bộ Công. Năm Bính Tuất (1886), dưới triều Đồng Khánh ông xin về hưu không được. Pháp và Đồng Khánh muốn lợi dụng uy tín của ông trong việc phái ông ra Quảng Bình phủ dụ dân chúng nhưng chúng đã thất bại. Cuối cùng, cuối năm 1887, Triều đình phải để cho ông về hưu tại làng Văn La, huyện Quảng Ninh, tỉnh Quảng Bình.

   Tại quê hương, ông xuất tiền bạc khai khẩn đất hoang cho dân chúng làm ăn. Năm Kỷ Dậu (1909) ông mất tại làng Văn La, thọ 90 tuổi.

   Vua Duy Tân thương tiếc vị huân hiền của quốc gia ban cho tên thụy là Văn Nghi.

   Hoàng Kế Viêm sáng tác nhiều thơ văn, nay còn các tác phẩm “Phê thị trần hoàn”, “Khôn Y lục” (Thân thế, sự nghiệp công chúa Hương La)…