Lưu Bị đang trụ giữ Tân Dã, nghe tin quân Tào tràn xuống phía nam, bèn hạ lệnh cho toàn quân vào trong Phàn Thành chuẩn bị chiến đấu, lại khẩn cấp báo cáo việc quân cho Lưu Biểu ở Kinh Dương. Song vẫn không nhận được chỉ thị rõ ràng, khiến Lưu Bị rất băn khoăn. Gia Cát Lượng phán đoán Lưu Biểu có thể đã mất, nếu chỉ có thực lực của mình chẳng thể trụ giữ nổi Phàn Thành, liền đề nghị Lưu Bị phái sứ giả trực tiếp hỏi ý kiến Lưu Biểu, mặt khác sắp xếp việc rút quân về phía nam. Lưu Tông thấy lừa dối không nổi, mới lệnh cho Tống Trung thông tri việc Lưu Biểu đã mất để kịp chuẩn bị việc mang quân đầu hàng. Bởi đại quân Tào Tháo lúc này đã tiến gần Phàn Thành, Gia Cát Lượng đề nghị Lưu Bị khẩn cấp rút quân, mục tiêu là Giang Lăng, một điểm quân sự quan trọng liền kề Trường Giang, lấy quân lương và công sự phòng ngự có sẵn của Giang Lăng, liên hợp với quân chủ lực của Lưu Kỳ đang làm Thái thú Giang Hạ, có thế giữ được nửa phần phía nam Kinh Châu. Trung tuần tháng 8, Tôn Quyền đang hùng cứ Giang Đông, cũng biết được quân tình khẩn cấp là Lưu Biểu từ trần và đại quân Tào Tháo đã nam chinh, lập tức phái Lỗ Túc sớm đến Giang Lăng, thăm dò thái độ của Lưu Kỳ và Lưu Bị.

Lưu Bị đang ở Thượng Túc, lệnh cho quân sĩ trực thuộc vượt qua Hán Thủy, có không ít quân dân vùng bắc Kinh Châu tự động theo Lưu Bị chạy nạn về phía nam. Khi đến Tương Dương, Lưu Bị dừng ngựa hướng về phía trong thành gọi Lưu Tông trả lời. Lưu Tông không dám ra mặt, song trong thành Tương Dương có không ít quan lại và quân dân tìm đến Lưu Bị, Gia Cát Lượng đề nghị Lưu Bị nhân cơ hội mà đánh chiếm Tương Dương giành lấy quyền lãnh đạo, lại liên hợp với các quân đoàn ở đấy, cùng chống chọi với quân Tào, có thể chuyển bại thành thắng. Song Lưu Bị không nhẫn tâm trong khi giặc dữ kéo đến, nội bộ lại tàn sát lẫn nhau, vẫn giữ quyết định như cũ tiếp tục đến Giang Lăng ở phía nam khi đi qua phần mộ của Lưu Biểu ở ngoài thành. Lưu Bị thay mặt cho quân sĩ ra bái lậy khóc lóc không thôi, toàn quân thấy thế rất cảm động lại càng quyết tâm, kháng cự với Tào Tháo.

Lúc ấy quân tiên phong của Trương Liêu và quân Từ Hoảng đã tiến vào Tân Dã, cách Tương Dương chỉ khoảng 4 ngày đường.
Đầu tháng 9 quân Lưu Bị tiếp tục chặng đường hơn 400 dặm rút về nam, đến huyện Tương Dương, dân tị nạn kéo theo đầy cả đường, có đến hơn mười vạn người, xe chở hành lý lớn nhỏ có đến vài nghìn chiếc, chen cả lối đi, mỗi ngày hành quân không được 10 dặm đường, còn hơn 300 dặm mới đến Giang Lăng, với tốc độ như vậy ít ra phải mất một tháng mới đến nơi, nói chung chẳng thể tránh được quân truy kích của Tào Tháo.
Lưu Bị bất đắc dĩ phải triệu tập hội nghị khẩn cấp, đổi mới kế hoạch bố trí rút quân, ông hạ lệnh Quan Vũ dẫn hơn 1 vạn thủy quân theo đường Hán Thuỷ mà xuôi dòng, đến Giang Lăng trước lo việc phòng thủ, lại phái sứ giả đên Hạ Khẩu khẩn cấp trao đổi với Lưu Kỳ hẹn sẽ hợp quân ở Giang Lăng. Trương Phi dẫn 2000 nhân mã theo chặn hậu dự phòng Tào Tháo tập kích, Triệu Vân dẫn vài trăm người lo việc bảo vệ gia nhân. Còn tự mình với Gia Cát Lượng, Từ Thứ, dẫn quân chủ lực bảo vệ dân tị nạn, cứ từ từ mà đi như cũ.
Không ít quân tùy tùng và tướng lĩnh chỉ huy nói với Lưu Bị rằng: “Theo kế hoạch hiện nay, cần mau chóng đến Giang Lăng, hiện nay chúng ta tuy có mấy vạn người, nhưng người có thể cầm vũ khí thì ít, lại thêm quá nhiều xe chở nặng làm trở ngại hành động, nêu bị quân Tào Tháo đánh đến, biết xử trí thế nào?”
Lưu Bị kiên quyết nói: “Ta không phải không biết sự nguy hiểm song người có tâm sáng lập sự nghiệp, rất cần “đắc nhân tâm”, hiện nay mọi người đều theo ta mà đi, ta sao nỡ nhẫn tâm dứt bỏ họ cho đành?”.
Sau này vào thời Nam Triều, Tập Tạc Xỉ luận về việc này có viết:
“Lưu Huyền Đức tuy thân phận đang lúc điên đảo hoạn nạn, lại càng tuân thủ tín nghĩa, hình thế đã 10 phần nguy bách, mà vẫn có thể nói không lỗi đạo; cẩn thận với Lưu Biểu bạn cũ, không bội ước với người xưa, tình nghĩa cảm động cả ba quân. Bởi thế có không ít người một lòng nguyện với ông ta chia sẻ tai nạn, người ấy sau này có thể sáng lập đại sự nghiệp, có thể nói là đạo lý tất nhiên vậy!”.