Cho tới nay các tài liệu của Pháp để lại cũng như truyền thuyết về các tướng lĩnh nghĩa quân Bãi Sậy chỉ biết Đề Vinh, quê ở vùng Ba Tổng, nay là các thôn Thanh Lâm, Cường Trang, An Thịnh huyện Lang Tài, tỉnh Bắc Ninh.

Đề Vinh luôn luôn chiến đấu bên cạnh thủ lĩnh Nguyễn Thiện Thuật và nhiều lần khi bị quân Pháp bao vây, ông đã dẫn đội cảm tử mở đường máu xông ra thu hút hỏa lực địch về phía mình.

Khi quân Pháp đánh chiếm thành Phả Lại đã huy động lực lượng 2 sư đoàn gồm 16.300 quân, 55 đại bác và nhiều pháo thuyền từ Hải Dương, sông Đuống bắn vào. Ngày 20-2- 1884 thành Phả Lại thất thủ, Nguyễn Thiện Thuật cùng Hai Kế, Đề Vinh hội quân với Hoàng Văn Hòe, Ba Báo hai lần tấn công Phả Lại. Đề Vinh dẫn đội quân cảm tử đi thuyền nhẹ lọt vào các căn cứ của Pháp nổ súng rồi từ trong đánh ra. Các tướng Nguyễn Thiện Thuật, Nguyễn Thiện Kế, Hoàng Văn Hòe đánh vào gây tổn thất lớn cho quân Pháp. Khi thành Bắc Ninh bị quân Pháp uy hiếp, Đề Vinh lại theo Nguyễn Thiện Thuật lên tham gia giữ thành Bắc Ninh. Thành Bắc Ninh lọt vào tay quân Pháp, ông lại theo Nguyễn Thiện Thuật lên giữ thành Hưng Hóa, thành Hưng Hóa mất, Đề Vinh lại theo Nguyễn Thiện Thuật đi đánh quân Pháp ở Phủ Lạng Thương, Lạng Sơn.

Tháng 7/1885 vừa nhận được tin vua Hàm Nghi xuất bôn ra Quảng Trị, xuống chiếu Cần vương, Đề Vinh lập tức sang Long Châu đưa Nguyễn Thiện Thuật về căn cứ Tiên Động gặp Thượng thư bộ Lễ Nguyễn Quang Bích nhận chiếu Cần vương. Sau đó Đề Vinh lại cùng một số nghĩa quân hộ tống Nguyễn Thiện Thuật về căn cứ của Nguyễn Thiện Kế, Lãnh Giang ở vùng giáp ranh các tỉnh Hải Dương – Bắc Ninh – Hưng Yên bàn định kế hoạch khôi phục cuộc khởi nghĩa Bãi Sậy.

Sau lễ Tế cờ khởi nghĩa ở Văn chỉ Bình Dân, Đề Vinh luôn luôn ở bên Nguyễn Thiện Thuật bàn việc quân cơ. Những khi đi tấn công quân Pháp, Đề Vinh vẫn là người đi đầu, ông còn về vùng Tam Tổng (ở Quế Võ – Lang Tài, tỉnh Bắc Ninh) xây dựng làng chiến đấu.

Ngày 12/11/1888 Đề Vinh tham gia trận đánh Hoàng Cao Khải, Giám binh Louis Ney ở làng Liêu Trung.

Ngày 20/5/1889 Đề Vinh tấn công 30 vệ binh đóng ở đồn Hoàng Trạch, tổng Mễ Sở, huyện Khoái Châu do cai Soler chỉ huy. Bọn chúng thua phải chạy về Bình Phú, tổng Khóa Nhu. Đề Vinh đuổi theo bao vây uy hiếp đồn Bình Phú. Quân Pháp đóng ở đồn Bần Yên Nhân và đồn Lực Điền phải vội vã cho quân đến cứu.

Trong suốt thời kỳ Nguyễn Thiện Kế chỉ huy nghĩa quân, Đề Vinh lại luôn luôn sát cánh bên ông, tổ chức nhiều trận đánh quân Pháp và phối hợp với Đề đốc Phạm Văn Ban, Lãnh Mỹ đánh các trận bảo vệ La Mát lần thứ nhất, lần thứ hai. Đề Vinh dẫn trên 70 quân rút qua làng Ngọc Trì, quân Pháp đuổi theo, Đề Vinh rút sang làng Ngô Phần (làng Ngò) cũng thuộc tổng Ngọc Trì. Quân Pháp đuổi theo bao vây làng Ngô Phần.

Nửa đêm trời mưa to, Đề Vinh liền dẫn nghĩa quân rút về làng Bích Khê cũng thuộc huyện Lang Tài chỉ cách Ngô Phần khoảng 4 cây số. Vài giờ sau, ngày 12/1/1892, quân Pháp lại kéo tới bao vây quanh làng, song nghĩa quân vẫn chiến đấu dũng cảm, quân Pháp không sao vào gần chiến lũy được. Mặc dù đang ốm nặng Đề Vinh vẫn quyết định nửa đêm đi ngược luồng đạn để thoát khỏi vòng vây. Nhưng trước luồng đạn dầy đặc của giặc phần lớn nghĩa quân đều hy sinh tới 30 người trong đó có Đề Vinh, Quan Bá Học.