Trước việc nhà Nguyễn phải nhượng Lục tỉnh Nam Kỳ cho Pháp và chúng cho tàu chiến thám thính ở vùng biển Bắc Kỳ, ông phán đoán thế nào giặc cũng đánh ra Bắc. Ông thành lập đội phu tuần của tổng đông đảo, trang bị súng kíp, cả súng trường bắn nhanh mua ở biên giới Đông Bắc. Ông huấn luyện kỹ thuật chiến đấu, võ thuật cho họ  nên đội tuần phu của ông nổi tiếng thiện chiến.

   Sẵn đội tuần phu làm nòng cốt, ba ngày sau khi quân Pháp đánh phủ Lý Nhân, Đinh Công Tráng gửi hịch đi các nơi kêu gọi nhân dân gia nhập nghĩa quân. Ông biến nhà mình thành đồn luỹ, lấy thóc trong kho ra nuôi quân. Chỉ vài ngày quân số lên tới 400 người, chia làm bốn đạo đóng quanh làng Tràng. Ông còn phối hợp với dân binh của Hoàng giáp Phạm Văn Nghị xây dựng căn cứ Nham Tràng (Theo Địa chí Hà Nam).

   Đạo quân của ông phục kích, tập kích địch trên đường quan lộ dọc huyện Thanh Liêm – Phủ Lý, Ninh Bình. Ngày 14/12/1873, Đinh Công Tráng tấn công trại Cần nay thuộc xã Thanh Tân, Thanh Liêm là kho lương của cha cố Pháp và giáo dân tàng trữ để tiếp tế cho Pháp. Nghĩa quân Đinh Công Tráng gây khiếp sợ cho quân Pháp. Chiến công của ông lừng lẫy, Tự Đức phong cho ông chức Hiệp quản.

   Trước sự đầu hàng giặc Pháp một cách nhục nhã của triều đình nhà Nguyễn, Đinh Công Tráng trả chức tước cho triều đình, đi các nơi tìm các người cùng chí hướng đánh Pháp. Ông lên Sơn Tây là thủ phủ của ba tỉnh Sơn – Hưng – Tuyên, trung tâm kháng chiến của phe chủ chiến trong triều đình và của các thủ lĩnh nghĩa quân. Thống tướng Hoàng Kế Viêm đã biết tài cầm quân và ý chí kiên cường chống Pháp của ông, phong ông là Lãnh binh. Đinh Công Tráng đã chiến đấu chống Pháp ở lưu vực sông Thao, sông Đà thuộc tỉnh Phú Thọ, Sơn Tây dưới sự chỉ huy của Nguyễn Quang Bích và Bố Giáp, sau đó ông về tham gia giữ thành Sơn Tây, đánh quân Pháp ở Hà Đông, ngoại thành Hà Nội.

   Đinh Công Tráng về gây dựng lại phong trào chống Pháp ở Hà Nam, Nam Định. Khi ông vừa ra lời kêu gọi đồng bào đã tích cực gia nhập lực lượng nghĩa quân đánh Pháp, chỉ trong một thời gian ngắn nghĩa quân của ông đã lên tới 5000 người.

   Khiếp sợ trước lực lượng nghĩa quân đông đảo lại đo một lãnh binh tài trí chỉ huy, bọn xâm lược Pháp ở Bắc Kỳ điều động quân lính ở Hà Nội, Hải Dương, Nam Định… mở cuộc càn quét  lớn vào vùng sông Đáy, hòng đè bẹp nghĩa quân Đinh Công Tráng. Cuộc chiến đấu đã diễn rạ vô cùng quyết liệt, quân cả hai bên đều bị thiệt hại nặng nề. Nhưng giặc Pháp tăng quân đưa tàu chiến gắn đại bác vào khống chế vùng sông Đáy, đã đẩy nghĩa quân bật khỏi đất Hà Nam.

   Không cam chịu thất bại, Đinh Công Tráng vào Thư Điền ở tỉnh Ninh Bình tiếp lục xây dựng lực lượng chiến đấu. Tại đây ông được Tôn Thất Thuyết thay mặt vua Hàm Nghi phong ông là Bình Tây Đại tướng quân.

   Tiếp đó Đinh Công Tráng vào Thanh Hoá cùng các ông Phạm Bành, Hà Văn Mao, Hoàng Bật Đạt, Trần Xuân Soạn xây dựng căn cứ kháng chiến tại vùng rừng núi thuộc các xã Kim Ân và Thanh Bằng thuộc huyện Quảng Hoá, tỉnh Thanh Hóa.

   Sau đó các ông nhận thấy căn cứ dễ bị quân Pháp bao vây, tiêu diệt, mà cần phải xây dựng một căn cứ mới ở vùng hiểm trở vừa có thế công, thế thủ, nhưng phải nằm trên đường thiên lý Bắc Nam (đường số 1 ngày nay). Sau nhiều chuyến đi khảo sát địa hình, cuối cùng các ông đã chọn ba làng Thượng Thọ, Mậu Thịnh và Mỹ Khê thuộc huyện Nga Sơn. Phía Đông, phía Tây và phía Nam giáp huyện Tống Sơn (nay là hai huyện Hà Trung và Hậu Lộc), phía Bắc giáp tỉnh Ninh Bình.

   Các thủ lĩnh tín nhiệm cử Đinh Công Tráng và Phạm Bành là những người từng xây dựng nhiều chiến luỹ ở Hà Nam, Nam Định, Ninh Bình, Thanh Hoá phụ trách việc xây dựng và sau đó chỉ huy căn cứ mới này.

   Từ căn cứ Ba Đình, Đinh Công Tráng, Phạm Bành khống chế đạo đường thiên lý Bắc – Nam, đánh chặn các đoàn xe vận tải của địch thu chiến lợi phẩm. Nghĩa quân còn tập kích các đồn lính Pháp đóng ở Nga Sơn, Tống Sơn và cả ở vùng núi Tam Điệp tỉnh Ninh Bình.

   Đinh Công Tráng rút một bộ phận nghĩa quân lên Cự Bảo, Hồ Sen. Quân Pháp truy kích, Đinh Công Tráng phải rút sang Thượng Lào, rồi bất ngờ về hoạt động ở vùng Nông Cống. Trong khi đó căn cứ Mã Cao của các thủ lĩnh nghĩa quân Ba Đình khác bị thất thủ. Không nản chí, Đinh Công Tráng vào Nghệ An gây dựng phong trào kháng chiến.

   Đinh Công Tráng là viên dũng tướng lại mưu lược, nếu bày trận ra đánh thì quân Pháp không hại được ông. Vì chúng đánh úp khi ông đang ngủ, lại mất cảnh giác không tổ chức canh gác nên mới bị giết.