Nguyễn Duy sinh ngày 21 tháng chạp năm Kỷ Tỵ (1809) niên hiệu Gia Long thứ 8. Ông là em ruột Tổng thống Quân vụ đại thần Nguyễn Tri Phương. Ông người Chi Long, xã Đường Long, tổng Chánh Lộc, huyện Phong Điền, tỉnh Thừa Thiên.

Năm Thiệu Trị nguyên niên (Tân Sửu – 1841) ông đỗ Hai cống. Năm sau, Thiệu Trị thứ 2 (Nhâm Dần – 1842), ông thi Hội, đỗ Đệ tam giáp đồng tiến sĩ. Năm Thiệu Trị thứ 3 (1843), ông được sơ bổ làm viện tu soạn Nội các, rồi năm sau (1844), được thăng Hàn Lâm viện tu soạn. Niên hiệu Thiệu Trị thứ 5 (1845), ông làm Tri phủ phủ Tây An. Năm Tự Đức thứ 2 (1849), ông được cải bổ làm Tri phủ Quảng Ninh (Quảng Bình).

Quan Bố chánh tỉnh ấy là Trương Đăng Đệ, phụng chỉ sát hạch các quan lại tỉnh Quảng Bình, ghi vào lý lịch của ông lời khen “ở với dân thì khoan hòa, làm việc rất thanh liêm, gìn giữ”. Ông Đệ tâu lên xin đặc cách thăng ông Duy làm chức Biện lý (án sát). Tự Đức tiếp được tờ tâu ấy, đòi ông Duy về kinh bệ kiến ban khen và cho thăng lên Thị độc ở Nội các. Đến năm Tự Đức thứ 5 (1852), ông được thăng Thị giảng học sĩ và cử đi sứ nhà Thanh. Khi ấy ở ngoài khơi có giặc Tàu Ô, cướp phá thuyền bè dọc bờ biển Trung Hoa, thành ra thuyền sứ Nguyễn Duy không về được. Mãi đến năm Tự Đức thứ 8 (1855) ông mới về phục mạng, Vua Tự Đức phán rằng: “Khanh đi muôn dặm xa xôi, ba năm khó nhọc, trở về bình an đã làm trọn việc nước”. Rồi nhà vua thưởng trung hạng kim khánh, 50 lạng bạc và ban cho một bài thơ khen tặng úy lạo. Sau chuyến đi sứ, ông được thăng hàm Đại lý Tự khanh biện lý bộ Lại.

Các triều đình Gia Long, Minh Mệnh, Thiệu Trị, Tự Đức đã nhượng bộ cho Pháp nhiều đặc quyền, đặc lợi về kinh tế (nội thương, ngoại thương), truyền đạo, nhưng dã tâm của chúng ta cướp nước ta, nên năm 1847 tàu chiến của Pháp nổ súng khiêu khích ở Đà Nẵng. Năm 1856 , tầu chiến của Pháp lại đến cửa biển Đà Nẵng diễu võ dương oai, vua Tự Đức cử ông và Đào Trí Phú vào đắp đồn lũy phòng ngự. Làm xong, ông về kinh phụng chỉ.

Chính phủ Pháp sau khi cùng Triều đình Mãn Thanh ký Hiệp ước Thiên Tân, ngày 27/6/1858 bộ Thuộc địa – Hải quân Pháp điều động Thiếu tướng Hải quân Rigôn Đờ Giơnuiy (Rigauld De Genouilly), Tổng chỉ huy lực lượng Hải quân Pháp vùng biển Đông làm Phó Thủy sư Đô đốc giữ chức Tổng chỉ huy lực lượng viễn chinh Pháp tại Việt Nam. Ngày 30/8/1858, chiến hạm Pháp đến đóng ở đảo Hải Nam để hội quân với chiến hạm Tây Ban Nha (do đại tá Lan da rết (Lazarois) chỉ huy. Ngày 31/8/1858, 13 chiến thuyền của Liên quân Pháp – Tây Ban Nha đến ngoài biển vịnh Đà Nẵng thả neo. Về phía triều đình đã cử Nguyễn Tri Phương vào Đà Nẵng. Nguyễn Duy tình nguyện đi quân thứ Đà Nẵng cùng với Đào Trí Phú lập đồn Trấn Đông trên núi Sơn Trà.

Ngày 01/9/1858, chiến hạm liên quân Pháp – Tây Ban Nha tấn công bán đảo Sơn Trà. Hai ông đã chặn đánh quyết liệt, không cho chúng tiến sâu vào đất liền. Liên quân Pháp – Tây Ban Nha tấn công vào các vị trí phòng thủ của quân ta. Tình thế rất nguy nan, quan quân hoảng loạn bỏ hàng ngũ, Nguyễn Duy kiên quyết ở lại và tuyên bố:“Đã là yêu nước thì không luận văn hay võ”.

Trong tháng 9 và tháng 10 , Nguyễn Duy trực tiếp chỉ huy quân dân Quảng Nam dùng sọt tre, thùng gỗ chứa đất đá lấp dòng sông Vĩnh Điện để ngăn chặn tầu chiến của giặc Pháp. Dòng sông bị lấp, thế nước sẽ dồn vào cửa biển Đại Chiêm, do đó mạn hạ lưu sẽ cạn, tàu giặc không thể vào được, quân ta chỉ lo phòng thủ mặt bộ.

Tháng 11/1858, thuyền chiến Pháp tiến vào Sông Hàn và Sông Nại Hiên (Quảng Nam) bắn trái phá dữ dội vào các đồn lũy và làng xóm hai bên bờ sông. ông đã cùng Đào Trí Phú bố trí trận địa đánh tầu chiến và bộ binh giặc, khiến cho chúng bị thương vong nặng nề, cả 8 chiếc thuyền phải tháo chạy.

Ngày 2/2/1859, Giơniy, kéo đại quân theo đường biển vào đánh chiếm Sài Gòn, chỉ để lại Đại tá Toayông (Toyou) giữ bán đảo Sơn Trà. Ngày 6 và 7 tháng 2 năm 1859 , Nguyễn Duy và Đào Trí Phú tổ chức nhiều trận tấn công vào bán đảo Sơn Trà, nhằm tiêu diệt lực lượng quân chiếm đóng Pháp, nhưng việc không thành.

Tháng 8/1860 , Triều đình cử Nguyễn Tri Phương giữ chức Tổng thống quân vụ vào Nam chỉ huy Quân thứ Gia Định tổ chức đánh Pháp. Nguyễn Duy được cử giữ chức Quân thứ Tán lý đại thần Gia Định, cùng Tôn Thất Cáp, Phan Tịnh vào Gia Định ứng cứu cho Nguyễn Tri Phương. Các ông về giữ Đại đồn, Chí Hòa thay cho Tôn Thất Hiệp. Từ tháng 4/1860 , Tôn Thất Hiệp đã đánh thắng liên quân Pháp – Tây Ban Nha nhiều trận khi chúng tấn công Chí Hòa. Các ông đã củng cố xây dựng chiến lũy Chí Hòa vô cùng vững chắc.

Đêm 23/2/1861, quân Pháp mở trận tấn công quy mô vào đồn Chí Hòa. Nguyễn Duy cùng Nguyễn Tri Phương chỉ huy quân sĩ chiến đấu liên tục hai ngày, hai đêm, gây nhiều tổn thất cho giặc: quan 5 Tây Ban Nha là Palancce, 4 sĩ quan cao cấp, 30 sĩ quan, 121 hạ sĩ quan, 1805 lính liên quân bị giết chết tại trận.

Song ngày 25 tháng 2 năm 1861, Đại đồn Chí Hòa thất thủ, Nguyễn Tri Phương bị trọng thương, Tán lý Nguyễn Duy, Tán tương Trí tử trận. Riêng Nguyễn Duy bị trúng đạn đại bác, xác ông biến dạng, không nhận ra hình người nữa. Có người biết được cái đai áo và gấu áo ông thường mặc liệm xác về chôn ở Cửa Đông thành Biên Hòa sau khi cải táng mới đưa về quê. Nhưng theo Nguyễn Thông, tác giả bài thơ “Viếng ông Nguyễn Duy, Tán lý quân vụ Định – Biên” thì đây là mộ giả, chỉ có chiếc áo, gọi là “Hư trùng”.

Ông được thờ ở miếu “Tam Trung” cùng với anh là Nguyễn Tri Phương và cháu là Nguyễn Lâm ở quê nhà.