Bồ-đề-đạt-ma là đệ tử và truyền nhân của Tổ thứ 27, Bát-nhã-đa-la (sa. prajñādhāra) và là thầy của Huệ Khả, Nhị tổ Thiền Trung Quốc. Sự tích truyền pháp của Bát-nhã-đa-la cho Bồ-đề-đạt-ma được truyền lại như sau:
Tổ hỏi: "Trong mọi thứ, thứ gì vô sắc?" Bồ-đề-đạt-ma đáp: "Vô sinh vô sắc". Tổ hỏi tiếp: "Trong mọi thứ, cái gì vĩ đại nhất?" Bồ-đề-đạt-ma đáp: "Phật pháp vĩ đại nhất".
Sau khi trở thành Tổ thứ 28, Bồ-đề-đạt-ma đi thuyền qua Nam Trung Quốc năm 520. Sau khi truyền đạo cho Lương Vũ Đế không thành, Bồ-đề-đạt-ma đến Lạc Dương, lên chùa Thiếu Lâm trên rặng Tung Sơn. Nơi đây, Bồ-đề-đạt-ma tu thiền định, chín năm quay mặt vào vách không nói; cũng tại đây, Huệ Khả đã gặp Bồ-đề-đạt-ma để lại truyền thuyết bất hủ về việc quyết tâm học đạo của mình.