Năm Thiệu Trị thứ 7 (1847), đỗ Tú tài khi mới 15 tuổi. Năm Tự Đức thứ 4 (1852) ông đỗ Cử nhân, được bổ chức Tri huyện Kim Thành (Hải Dương). Ông không a dua theo bọn tham quan, ô lại ở địa phương, bị bọn chúng gièm pha, vu cáo, ông bị mất chức. Chán cảnh làm quan văn, ông xin chuyển sang ngạch võ, được thu dụng lại.

Năm Tự Đức thứ 15 (1862) dẹp yên các toán phỉ Ước, phỉ Độ ông lập được công nên được phục lại hàm tri huyện sung Hiệp quản vệ chiến sai. Lâm trận đốc chiến có công được bạt bổ Tri phủ sung Đốc binh.
Năm Tự Đức thứ 18 (1865), giặc biển phạm các đồn Quỳnh Lâu, Yên Trì, Ông Ích Khiêm cả phá được bắt và chém được hơn một trăm tên, được thăng Thị độc sung Tán tương, sau được cất lên chức Hồng lô Tự khanh biện lý Lễ bộ.

Năm Tự Đức thứ 20 (1807) vua thấy Ích Khiêm trước ở Hải Dương mộ thủ hạ trên 600 tên lập thành Thành Dũng cơ tiễu phỉ có công cho bạt bổ Thị lang Binh bộ và ban cho một tấm Hiếu nghĩa tử kim khánh. Gặp lúc tên phạm trốn bên đất nhà Thanh là Vi Tái Thọ tụ đảng ở Bắc Ninh gây việc, vua sai Khiêm sung Khâm phái Bắc Ninh tiễu phủ Sứ, ban cho quần áo, 20 lạng bạc rồi cho đi đánh. Ích Khiêm đến quân thứ, chia phái quan quân đi bắt được 65 tên phạm. Ít lâu, bọn phỉ ở Thái Nguyên trở nên hung dữ, quân bộ biên bị thua. Tổng đốc Ninh – Thái Phạm Chi Hương tâu xin cho Khiêm coi hạt Thái. Ít lâu vì tiến đánh bất lợi, bị thương. Việc tâu lên, vua cho là quan văn như thế cũng hiếm có, cấp cho 10 lạng bạc chữa thuốc. Lại dụ rằng chữa mau để đi đánh, để thu lấy cái thành hiệu đã hăng hái đánh giặc, đừng thấy thua một trận mà chán nản.

Năm thứ 21 (1868), bọn phỉ tiến đánh ở Cao Bằng lại nổi lên. Vua sai Chi Hương đi Cao Bằng trù tính đánh dẹp, Ích Khiêm thời quyền giữ ấn Tổng đốc quan phòng. Chưa bao lâu, Khiêm đổi sang Tán lý quân thứ Lạng Bình, cùng với đề đốc Nguyễn Viết Thành hội họp với phó tướng Tạ Kế Quý nước Thanh đánh phỉ ở Thất Khê, cả phá được, có trong nửa ngày đốt luôn được hơn 30 đồn giặc. Khiêm được thưởng các hạng nhẫn vàng khảm pha lê lóng lánh. Sau bị việc để cho quân bộ biên đi đốt nhà cướp của, khép vào tội đồ, vẫn cho phép mộ lính dõng theo đi đánh giặc.

Năm thứ 22 (1869) bọn phỉ nước Thanh là Ngô Côn đem đồ đảng đánh vây tỉnh thành Bắc Ninh, khí thế rất hăng. Bọn khâm sai Nguyễn Văn Phong, đình thần Bùi Tuấn bám chặt thành cố giữ. Ích Khiêm được tin, từ huyện Kim Anh ban đêm binh voi gấp đường xông tới đánh. Trong ngoài giao nhau bắn, Côn bị trúng đạn lạc, bèn giải được vây, được phục hàm bố chính sung tán lý, và thưởng thêm 1 đồng kim tiền “Vạn thế vĩnh lại” hạng lớn, 1 tấm bội bài bằng ngọc quý và 50 lạng bạc. Khiêm lại đốc suất đi với lãnh binh Hà Nội Trương Trường Hợp và quyền đề đốc quân thứ Thái Nguyên Nguyễn Văn Nhuận đánh phỉ ở xã Thanh Tước bắt và chém được rất nhiều. Phỉ sợ, rút lui. Ích Khiêm đời quân về quân thứ Sơn Tây. Gặp lúc bọn phỉ chia nhau đóng giữ Phú Bình, Đại Từ, chẹn lối sau của Thái Nguyên, Ích Khiêm liền đem quân bản bộ và quân đạo Sơn Tây, hợp tiễu để giải nguy cấp cho tỉnh Thái.

Năm thứ 23 (1870) Khiêm cùng với tham tán Lê Bá Thận đánh phá đảng lũ của Hoàng Văn ở trong rừng Lục Ngạn, được cất bổ lên tham tri Binh bộ và đổi sang tán lý Lạng – Bình, ít lâu thăng lên tham tán. Bấy giờ bọn phỉ Tô lại chiếm cứ thành Lạng. Ích Khiêm sai bắn đại bác vào cửa đông thành, bỗng bị phỉ bắn trả lại làm chân trái bị thương, bèn mang lính tùy tòng trở về Hải Dương. Vua thấy luôn lập chiến công, ban cho sâm quế, sâm tam thất, bạc cùng đồ vật và gia ơn cho được cách chức lưu dụng, nghỉ giả hạn rồi lại tới quân thứ. Nhưng thứ thần tâu rằng hôm bị thương, Khiêm đã chọn lấy 200 lính giỏi ở đồn để hộ vệ mình (trở về), Khiêm lại bị giáng xuống Quang lộc Tự khanh vẫn sung Tán lý.

Năm thứ 24 (1871) Ích Khiêm đóng quân thứ ở Đông Triều dẹp phỉ được thắng lợi luôn. Mùa hè năm ấy, bọn phỉ lại cướp Sơn Tây. Khiêm được thăng thự Thị lang gia hàm Tham tri đổi Tham tán quân thứ Sơn Tây, chuyển đốc lạo quân Sơn, phàm việc quân cơ được làm tập tâu riêng phát đệ.

Năm thứ 25 (1872), tháng 2, Khiêm cùng tán tương Nguyễn Dy phá tan sào huyệt phỉ ở Quán Tư, lấy lại huyện Trấn Yên, được thưởng thêm 1 tấm kim bài. ích Khiêm lại họa địa đồ Sơn Hưng Tuyên dâng vua. Vua xem, nói rằng: “Nay hãy trù tính Hưng trước, Tuyên sau”. Ít lâu, vì trận đánh ở Đại Đồng thua, rút lui, bị cách chức lưu dụng.

Năm Tự Đức thứ 26 (1873), Ông Ích Khiêm là bộ tướng của Tôn Thất Thuyết, bọn phỉ do Lý Dương Tài chỉ huy gây ra nhiều vụ cướp phá ở biên giới. Đề đốc Phùng Tử Tài có gửi thư cho Tôn Thất Thuyết cùng hội quân đánh giặc. Hai bên hợp sức đánh, quân giặc lùi về cố thủ ở vùng Ba Bể (Bắc Cạn), quan quân đánh mấy tháng không phá được, Tôn Thất Thuyết giao cho ông Ích Khiêm 15 ngày phải phá xong, nếu không bị quân luật. Ông Ích Khiêm chọn 80 lính khỏe mạnh, biết võ thuật, giỏi côn kiếm, trang bị gươm, đoản đao, bốn chiếc thanh la. Cuối tháng giêng, ông xuất phát từ Thái Nguyên lên tới nơi phỉ đóng quân phải mất hơn 10 ngày. Ông dẫn quân trèo lên ba đỉnh núi mà bọn phỉ đóng ở dưới chân núi. Nửa đêm, ông cho quân cởi trần, mặc quần đùi cầm đoản đao cùng 4 chiếc thanh la, buộc dây từ đỉnh núi tụt xuống. Ông lệnh cho 4 chiếc thanh la cùng gõ, rồi 80 quân đột nhập vào doanh trại giặc khi chúng đang ngủ, chém giết trên 1000 quân phỉ kể cả tên tướng giặc Lý Dương Tài. Quân của ông nguyên vẹn thu chiến lợi phẩm trở về. Trận thắng dũng mãnh này khiến Đề đốc Phùng Tử Tài cũng phải khâm phục.

Năm thứ 35 (1882) vua nghĩ tình vất vả, giỏi giang, dùng lại làm Hồng lô Tự khanh biện lý Hộ bộ. Ích Khiêm tâu bày về kế sách nước mạnh dân giàu, vua đều cho là phải, nhưng việc biên giới chưa rồi nên không quả quyết lắm. Rồi Khiêm được bổ Thị lang sung tham lược kinh kỳ hải phòng coi đắp các đồn Thái Dương, Lộ Châu, ý muốn làm mau xong, có vẻ nghiêm khắc, tàn bạo. Vua hạ dụ khiển trách, giáng xuống Chủ sự, cho đời đi phòng thủ đồn Hòa Quân.

Chưa bao lâu được phục hàm thị giảng tham biện phòng vụ. Đến khi đồn cửa Thuận không giữ được, Ích Khiêm thu hơn 700 quân về đến bến Nam Phổ vẫn chưa thôi tiếng trống hiệu. Việc tâu lên, vua quở, đổi sang chức biện lý Lễ bộ. Sau đó Nguyễn Văn Tường, Lê Thuyết mưu với nhau phế lập, giả cách thuận cho phế để nhượng ngôi, lui về phủ cũ, rồi mật báo Ích Khiêm và Trương Đăng Thê mời vua đến nha Hộ Thành cho uống thuốc độc giết chết.

Đầu niên hiệu Kiến Phúc (1854) thăng thự Thị lang tấn phong tước Kiên Trung Nam. Tháng 5 ấy, ông mang 50 lính đi thẳng về quê ở tỉnh Quảng Nam. Bọn Ngự sử Đào Hữu Ích đàn hặc là tự tiện bắt binh mã giao thông với phủ đệ, Khiêm lại bị cách chức phát đi an trí ở Bình Thuận rồi mất ở trong ngục, bấy giờ 55 tuổi. Hồi đầu niên hiệu Hàm Nghi (1885) truy phục hàm Thị độc.