Gia Cát Lượng năm ấy 27 tuổi, lòng đầy háo hức lại được các bậc phụ lão Kinh Tương chú ý đến sau khi quan sát và khảo xét cẩn thận, thấy mình lúc đó thực không có quyền, cũng không có tiền, chỉ sống gửi bên cạnh Lưu Biểu; đã theo về với Lưu Bị đang chỉ huy một đạo quân, suốt đời đem hết tâm trí vì sự nghiệp của minh chủ.

Lưu Bị tên chữ là Huyền Đức, người Huyện Trác ở U Châu (nay là tỉnh Hà Bắc). Nghe nói ông là người thuộc hoàng tộc nhà Hán (hậu duệ của Trung Sơn Tĩnh Vương Lưu Thắng). Sau này ông đã lợi dụng chiêu bài đó, tạo ra một hình tượng đặc biệt về sự tranh bá quyền giữa đám quần hùng.

Tổ phụ của Lưu Bị là Lưu Hùng từng được cử làm Hiếu liêm, làm quận lệnh quận Đông Phạm. Phụ thân là Lưu Hoàng sớm mất chỉ làm được chức thư lại ở huyện, sau đó gia cảnh suy bại, thập phần khôn khó. Lưu Bị khi còn nhỏ chỉ biết cùng với người mẹ goá đan chiếu cỏ đem bán để sông, cơ hồ rơi vào tầng lớp dân nghèo.
Song người thiếu niên quý tộc lưu lạc này tính tình lại rất khoát đạt, nghe nói nhà ông ở góc vườn có cây dâu lớn cao hơn năm trượng, cành lá xoà ra như một cái lọng, có người giỏi xem phong thủy, cho rằng cây ấy thực rất lạ, gần đó ắt có quý nhân. Cũng có thể lời ấy truyền đến tai Lưu Bị, ông ta lúc còn chưa có đại chí đã thường cùng với bạn nhỏ tuổi chơi đùa, bày đặt quán rượu dưới gốc cây mà nói rằng: “Ta có ngày sẽ ngồi cái xe có lọng như thế này (Xe hoàng đế thường ngự giá). Người chú nghe nói kinh hãi lập tức mắng rằng: “Không hiểu câu nói vọng ngôn này sẽ diệt cả nhà ư!” Song người chú thấy những biểu hiện lạ ở Lưu Bị vẫn thường chu cấp cho.
Do ông ta là hậu duệ của hoàng tộc bởi vậy vẫn kết giao được những người bạn quý tộc như Công Tôn Toản và Lưu Đức Nhiên, cùng nhận Lô Thực, thái Thú quận Nho Cửu làm thầy. Lô Thực văn võ toàn tài, Lưu Bị có cơ hội học hành thấu đáo, song phần học phí cơ hồ đều do ông bố của Lưu Đức Nhiên chu cấp. Bà mẹ của Lưu Đức Nhiên không tán thành, song ông bố thì lại nói: “Trong họ nhà ta nếu có được đứa bé ấy, thực là điều đáng mừng”. Song trong nhãn quan của người thường, Lưu Bị không biểu hiện ra một chút gì đặc biệt. Với Tào Tháo, từ nhỏ đã chăm học không biết mệt, kiến thức quảng bác, còn Lưu Bị khi nhỏ thì trái lại, “không chăm đọc sách chỉ thích chó ngựa, đàn hát, mặc áo đẹp”, không để ý đến cảnh nhà bần hàn vẫn là một kẻ lãng tử mà thôi. So với Viên Triệu, Lưu Biểu, Lã Bố là những hào kiệt đời hán, ngoại diện của Lưu Bị cũng không có gì đặc sắc. “Tam quốc chí” có chép, ông cao bảy thước rưỡi ta (khoảng 1 mét 65), chỉ không nghịch ngợm bằng Tào Tháo mà thôi. Song tướng mạo của ông lại quái dị, vành tai rất lớn, hai tay rất dài. Nghe nói khi ông ta thả tay đứng thẳng ngón tay vượt quá đầu gối, mắt có thể liếc nhìn tai của mình. Dị tướng như vậy, đã rất có ảnh hưởng trong dân chúng, đối với ông sau này, có thể khiến người ta có cảm tình với ông, cũng có thể bị đả kích. “Tam quốc diễn nghĩa” có chép, người đương thời thường gọi Lưu Bị là “ông tai to”.

Kể từ khi bắt đầu tuổi thanh niên, cá tính của Lưu Bị rất đặc sắc. Ông khảng khái giúp người, lại không để ý làm gì, bởi vậy ông nhận được sự tín nhiệm và cảm mến của mọi người và cũng dễ kết giao với bạn bè các tầng lớp. Đặc biệt là sự kiện kết nghĩa anh em với Quan Vũ huyện Giải, Hà Đông (nay là Sơn Tây) và Trương Phi người cùng huyện, thực là danh truyền thiên cổ, miệng thế vẫn thường nhắc nhở. Tam quốc chí có chép: “Lưu Bị là người ít nói, hoà mình với kẻ dưới vui buồn không đê lộ ra mặt, thích kết giao với kẻ hào kiệt, có nhiều thiếu niên cùng tuổi vây quanh”. Tai hoạ bè đảng và khởi nghĩa Hoàng Cân cuối đời Hán xảy ra, các địa phương trị an không ổn định, Lưu Bị đã kết hợp thanh niên trong xóm ấp đứng dậy giữ gìn trật tự, mấy người phú thương ở quận Chung Sơn là Trương, Tô tư trợ cho việc ấy, khiến Lưu Bị nghiễm nhiên có một đội quân riêng của mình.

Sau khi quân Hoàng Cân triển khai rộng, nhà Hán có chiêu mộ quân lính ở các châu quận, Lưu Bị cũng hưởng ứng ở Trác Quận, ông tổ chức quân đội riêng, gia nhập tự vệ dân quân của hiệu úy Châu Tĩnh, hai người bạn chiên đấu gắn liền với Quan Vũ và Trương Phi cũng đứng vào đội ngũ của Lưu Bị lúc đấy. Chương thứ nhất trong Tam quốc diễn nghĩa của La Quán Trung cũng mở đầu bằng “đào viên kết nghĩa” lúc đó Lưu Bị đang hai tư tuổi.