Đề Quý ( không rõ tên thật) là lính thị vệ của kinh đô Huế có công được thăng chức tuần thành, nên còn gọi là Tuần Quý. Kinh thành Huế thất thủ (tháng 7/1885) ông về Bắc.

Sau đó ông theo Tán Thuật được phong chức Đề đốc, nên còn gọi là Đề Quý, Cẩm Quý, Thạnh Quý. Ông được phân công chỉ huy nghĩa quân vùng giữa Hải Dương – Hải Phòng. Đề Quý nổi tiếng gan dạ, ra trận thường đi trước, tính nóng như lửa. Nhiều lần chỉ một mình ông đánh thắng cả một toán quân Pháp. Ông chỉ huy nhiều trận đánh xuất sắc, có công lớn. Lính Pháp, lính Nam nghe tiếng ông là kinh sợ hết hồn. Quân Pháp dùng chức tước, tiền bạc mua chuộc ông song không được.

Tháng 1/1887, Lãnh Giang, Đốc Khoát, Đội Văn, Đề Quý phối hợp với nghĩa quân Ba Báo thành một đạo quân lớn tấn công các hạm tàu, xà lúc của quân Pháp vận chuyển quân lính, khí tài, lương thực, thư từ trên sông Luộc. Kết quả ba chiếc xà lúc trên sông Luộc bị tấn công, một chiếc tất cả thủy thủ sợ hãi bỏ trốn, nghĩa quân trèo xuồng ra thu hết vũ khí, quân trang, lương thực, đốt phá xà lúc.

Tháng 3/1889, phân đội Đống Mối (Văn Lâm) nhận được tin báo là toán của Đề Quý đang đồn trú ở các hang thuộc hai hòn đảo nhỏ thuộc huyện Nghiêu Phong gần đảo Cát Bà. Tin này do Bang Huy còn gọi là Lang Biên thuộc toán của Quý phản bội báo cho Pháp. Nhưng Hoàng Cao Khải đang đuổi theo quân của ông Thuật đang hoạt động ở tỉnh Phúc Yên, toán quân của Ba Phi ở Gia Lâm, Văn Giang, nên chưa đem quân đi đánh quân của Đề Quý được.

Đề Quý đang hoạt động ở vùng biển Ninh Hải (Hải Phòng) và các đảo thì tháng năm ông lại đột ngột chuyển địa bàn hoạt động ở Khoái Châu để tránh trận càn lớn của thuỷ quân Pháp ở các đảo.

Ngày 20/5/1889 viên Chương ấn Hưng Yêu báo cho người Pháp ở Hưng Yên biết một toán 200 nghĩa quân do Đốc Sung, Đề Quý, Lãnh Mỹ chỉ huy tấn công 30 lính vệ binh đóng ở Hoàng Trạch tổng Mễ Sở, huyện Khoái Châu do cai Soler chỉ huy lúc đang đi tuần tra, thám báo. Bọn vệ binh thua phải rút chạy về Bình Phú, tổng Khoá Nhu. Mặc dù đã có viện binh viên phó quản chỉ huy từ đồn Lực Điền, tổng Tử Dương, huyện Yên Mỹ đến cứu viện. Đồn Bần Yên Nhân cho một toán thám báo đông tới 100 quân theo dõi các hoạt động của nghĩa quân.

Khi trận càn lớn của thuỷ quân, hải quân Pháp chấm dứt ở các đảo thì Đề Quý, Lãnh Hai, Lãnh Nhan, Tuấn Huế lại trở về hoạt động ở vùng Tứ Kỳ, Thanh Hà, Tiên Lãng, vùng cửa sông và các đảo.

Đề Quý cũng đã trở lại chiến trường, tổ chức lại đội ngũ, trang bị thêm vũ khí đánh phá các huyện Tứ Kỳ, Thanh Hà, Kim Thành. Trên địa bàn có các huyện khác như huyện Năng Yên, Thanh Lâm lại xuất hiện các đạo quân khá mạnh, sẵn sàng chiến đấu.

Trước sự xuất hiện của một lực lượng nghĩa quân hùng mạnh và liên kết nhau chặt chẽ dưới sự chỉ huy chung của vị tổng chỉ huy Nguyễn Thiện Kế, còn phía quân Pháp ở Hải Dương thì lực lượng Bảo an binh từ 800 đã bị thương vong trong các trận chiến đấu, do bỏ ngũ nay chỉ còn lại 450 và không có hy vọng gì tăng lên được.

Trước tình hình không có lợi đó, Toà sứ Hải Dương chủ trương và được bộ Tư lệnh quân Viễn chinh Pháp ở Trung- Bắc Kỳ, Phủ Thống sứ Bắc Kỳ chấp nhận đã thành lập một lực lượng cảnh sát đặc biệt dưới danh hiệu “lính cơ”. Lực lượng cảnh sát này thi hành mệnh lệnh trực tiếp của các quan phủ huyện được trang bị súng bắn nhanh, cho phép các quan phủ huyện hoạt động trong bất cứ thời điểm nào chống bọn phá rối trật tự theo sáng kiến và ý thức trách nhiệm của chính mình. Lực lượng này được bổ sung hoàn chỉnh thêm bằng sáng kiến tổ chức một lực lượng tuần tra và thám báo do hào mục các thôn xã đảm nhiệm bằng sự thiết lập hàng loạt những lô cốt trên các ngả đường giao thông quan trọng. Những lô cốt này dùng làm nơi đồn trú tạm thời cho những đạo quân thường xuyên di động trong tỉnh từ chỗ này qua chỗ khác làm cho tất cả dải đất của tỉnh này đều nằm trong sự giám sát và cũng từ đó có sự tuần tra của hào mục càng tăng thêm phần hiệu lực.

Sự hoạt động mạnh mẽ của Đề Quý khiến cho công sứ Hải Dương và Hoàng Cao Khải đối phó bằng các cuộc hành quân không tiêu diệt được ông, đã tìm cách mua chuộc, hắn sai viên quản Vinciliomi trước kia từng có quan hệ với Đề Quý cho người đem thư của hắn tới dụ dỗ Đề Quý ra hàng. Đề Quý khảng khái trả lời: “Tôi hành động trên vì nước, vì vua, dưới vì chủ soái tôi. Còn tôi đã quyết dù có chết cũng không thay đổi”.