Năm 1873 giặc Pháp đánh Bắc Kỳ lần thứ nhất, các phủ, huyện của Hà Nam khi đó thuộc Hà Nội đều bị quân Pháp đánh. Quân triều đình chưa đánh đã bỏ chạy. Triều đình Huế sợ giặc không dám động binh, vội vàng ký “Quy ước” giữa Nguyễn Văn Tường và Philát nhượng bộ Pháp nhiều quyền lợi về kinh tế, chính trị, quân sự. 

   Lê Văn Mai đứng về phe chủ chiến, khuyên can vua không được liền từ quan về quê. Ông đã liên kết với những người cùng chí hướng như tú tài Lê Văn Tốn, chiêu mộ quân rèn đúc, vũ khí theo Đinh Công Tráng khởi binh đánh Pháp.

   Khi hai ông khởi binh rồi gia nhập cuộc khởi nghĩa Đinh Công Tráng thì thế lực nghĩa quân càng mạnh. Lê Văn Mai trở thành mưu sĩ hàng đầu, là tướng tâm phúc của Đinh Công Tráng. Ông cũng chủ trương vạch ra kế hoạch tác chiến, bày binh bố trận dụ địch vào nơi đất hiểm, và ông cũng là người cầm quân đánh những trận đó. Nghĩa quân Đinh Công Tráng chiến thắng nhiều trận lẫy lừng ở Tràng Bưởi, Sở Kiện, rồi ào ào tiến sang Nam Định giải phóng phủ Bỏ (Ý Yên), chợ Dầu (VụBản) thị xã Phủ Lý.

   Ngày 15/3/1874, Triều đình Huế ký với Pháp “Hiệp ước Hoà bình và liên minh”  thực tế là đầu hàng giặc Pháp, ra lệnh triệt binh của triều đình, giải tán nghĩa quân. Đinh Công Tráng trả chức tước cho triều đình, ông cử Lê Văn Mai ở lại mở trường dạy học để tuyên truyền lòng yêu nước, chí căm thù giặc Pháp cho thanh niên, huấn luyện quân sự, dạy binh thư cho anh em rồi lên Sơn Tây – Hưng Hoá gia nhập quân của Hoàng Kế Viêm được phong Lãnh binh, ông thường xuyên có mối quan hệ với Lê Văn Mai.

   Ngày 25/4/1882 (mùng 8 tháng ba năm Nhâm Ngọ) Henri Rivière tấn công thành Hà Nội lần thứ hai, Tổng đốc Hoàng Diệu tuần tiết theo thành.

   Đầu năm 1883 quân Pháp đánh chiếm Phủ Lý và các phủ huyện nay thuộc tỉnh Hà Nam. Ngày 27/3 thành Nam Định thất thủ…

   Do có 10 năm chuẩn bị, nên ngay khi quân Pháp đánh chiếm Phủ Lý, Lê Văn Mai đã triệu tập nghĩa quân đánh Pháp và bọn giáo dũng khiến chúng không dám đánh rộng ra các phủ huyện. Ông còn phối hợp với nghĩa quân của Lê Văn Tốn tập kích vào các trại quân Pháp.

   Đinh Công Tráng sau khi dự trận đánh ở Cầu Giấy ngày 19/5/1883, ông trở về Hà Nam, Nam Định gây dựng phong trào đánh Pháp thống nhất các lực lượng kháng chiến ở Hà Nam. Vốn mến mộ tài năng và đức độ của ông, chỉ trong mười ngày, ông đã có một đội nghĩa quân đông tới 5000 người. Ngự Sử Lê Văn Mai và tú tài Lê Văn Tốn cũng đem quân tới phối hợp.

   Hốt hoảng trước lực lượng nghĩa quân Đinh Công Tráng, giặc Pháp tập trung quân càn quét vùng sông Đáy. Lê Văn Mai đã sát cánh cùng chủ tướng Đinh Công Tráng chiến đấu dũng cảm đánh thắng nhiều trận ở Thong, Bưởi, xây dựng căn cứ rừng Tràng huyện Thanh Liêm. Từ căn cứ này, nghĩa quân liên tục đột nhập vào Phủ Lý, huyện lỵ Thanh Liêm. Giặc Pháp tập trung quân, đại bác bắn vào căn cứ rừng Tràng.

   Không giữ được căn cứ, Lê Văn Mai cùng chủ tướng Đinh Công Tráng rút quân về xây dựng căn cứ kháng chiến mới ở Thư Điền, tỉnh Ninh Bình. Sau Đinh Công Tráng nhận thấy Thư Điền dễ bị cô lập khi quân Pháp bao vây, tấn công nên Đinh Công Tráng đã cùng các ông Phạm Bành, Hoàng Bật Đạt, Hà Văn Mao xây dựng căn cứ ở các xã Kim Âu và Thạch Bằng thuộc huyện Quảng Hoá, Thanh Hoá.

   Theo gợi ý của Thượng thư bộ Binh Tôn Thất Thuyết khi đó đã đưa vua Hàm Nghi ra Sơn phòng Quảng Trị, hạ chiếu Cần vương, Đinh Công Tráng và Lê Văn Mai đã chuyển xuống đồng bằng xây dựng các căn cứ Ba Đình, thuộc huyện Nga Sơn, tỉnh Thanh Hoá. Ngự Sử Lê Văn Mai đã sát cánh cùng thủ lĩnh Đinh Công Tráng và các thủ lĩnh khác xây dựng và chiến đấu bảo vệ căn cứ này.

   Ngày 18 tháng 12 năm 1886, nghĩa quân Ba Đình đánh bại cuộc tấn công qui mô đầu tiên của quân Pháp vào căn cứ từ hai hướng: hướng Tây Nam do tên trung tá Melzinzen chỉ huy, hướng đông bắc do tên trung tá Dodds chỉ huy. Nhưng chúng đã bị nghĩa quân đánh bại. Lê Văn Mai dũng cảm chỉ huy nghĩa quân đánh lùi những đợt xung phong của quân Pháp, ông anh dũng hy sinh. Nghĩa quân đưa thi hài ông về quê ông ở làng Vĩ Khánh, xã Liêm Túc an táng. Bia mộ của ông nay vẫn còn ở đình Hát xã Liêm Túc. Khi còn sống làng Tập Mỹ, huyện Bình Lục xây đình đã mời ông đến cất nóc. Khi ông hy sinh dân làng tôn ông làm Thành hoàng thờ ở đình. Ông được nhân dân vùng Liêm Sơn tôn trọng, xưa kia vẫn kiêng tên huý của ông không nhắc đến.