Khi triều đình Huế ký hoà ước với Pháp ông treo ấn từ quan thành lập Nghĩa hội chống Pháp. Sau khi Tôn Thất Thuyết ra bản Thông báo cho cả nước biết việc vua Hàm Nghi xuất bôn và kêu gọi mọi người “Cần vương”, lập tức Nguyễn Duy Hiệu cùng các ông Trần Văn Dư, Phan Bá Phiến, Hồ Học, Nguyễn Thành chiêu mộ quân nghĩa dũng đánh Pháp. Riêng ông Hồ Học chiêu mộ được 1000 quân. Hồ Học được Nguyễn Duy Hiệu giao cho chỉ huy từ đèo Hải Vân đến An Ngãi Đông.

Nguyễn Duy Hiệu được vua Hàm Nghi sắc phong: Bính bộ Tả tham tri, sung Tham tán quân vụ đại thần, kiêm lý Nam – Ngãi Tổng đốc (Tả tham tri bộ Binh, giữ chức Tham tán quân vụ đại thần, kiêm tổng đốc Nam – Ngãi). Nguyễn Duv Hiệu đã nhân danh vua Hàm Nghi phong chức cho những người đảm đương trach nhiệm hành chính và quân sự.

Nguvễn Duy Hiệu kế tục sự nghiệp của Trần Văn Dư lãnh đạo nghĩa quân. Ông hoạt động kiên quyết, nguyện hiến thân cho đại cục. Trước sự tấn công ác liệt của quân Pháp và quân triều đình Đổng Khánh, căn cứ Trung Lộc bị thất thủ. Nghĩa quân bị thiệt hại nặng nề. Nguyễn Thành, Hồ Học ra sức cản địch để các vệ sĩ bảo vệ Nguyễn Duy Hiệu, Phan Bá Phiến rút về Gò May rồi chạv về vùng ven biển. Nguyễn Duy Hiệu thấy không còn khả năng phục hồi được Nghĩa Hội, ông nói với Phan Bá Phiến:

“Nghĩa hội ba tỉnh ônạ với tôi thật chủ trương. Việc đã không thể làm thì ta chỉ có chết mà thôi. Nhưng hai ta cùng chết một lúc là vô ích. Ônq hãy chết trước. Phần tôi, tôi sẽ giải tán Hội, rồi đem thân mặc cho Pháp bắt. Nqười Pháp tra hỏi, tôi sẽ cực lực giải thoát cho Hội. Một mình tôi chết không đáng tiếc, còn hội ta sau này có kẻ làm thay chí ta, tức là ta sống đó!”. Sau đó hai thủ lĩnh quyết lấy cái chết để giữ bí mật của Nghĩa hội và bảo vệ các đồng chí còn sống được an toàn. Phan Bá Phiến uống thuốc độc tự tử trước, Nguyễn Duy Hiệu về quê thắp hương ở bàn thờ mẹ rồi ra miếu Quan Công, sai người báo cho Nguyễn Thân đến bắt. Ông nhận hết trách nhiệm về mình. Ngày rằm tháng tám năm Đinh Hợi (1/10/1887) một ngày sau khi Đồng Khánh phê chuẩn bản án tử hình, Nguyễn Duy Hiệu ung dung ra pháp trường chịu chém, trên môi vẫn nở nụ cười. Giặc Pháp và triều đình Huế chặt đầu ông dùng ngựa trạm hoả tốc đưa về phủ Điện Bàn tỉnh Quảng Nam bêu. Sự bình thản đi vào cõi chết của ông khiến kẻ thù run sợ. Baille, Khâm sứ Trung Kỳ lúc đó chứng kiến cái chết của ông đã phải viết:

”Hiệu đợi chết đứng như một nqười thuộc loại y vào bực y, nghĩa là y đợi chết không sợ sệt và đợi nó như một vận số, một định mệnh không có điều qì để căm qiận(…) Hiệu cũng như nhiều người khác đã thấy ở Nam Kỳ và Trung Kỳ, vẫn làm thơ trong khi đi tới pháp trường, rồi viết câu thơ đầu ngọn bút lông, mà không một nét nào run, tỏ sự xúc động gì cả…” (Baillc: Souvemirs d’Annam)