Ông sinh ngày 8 tháng 4 năm Nhâm Tý (tức 24 tháng 5 năm 1912) tại xóm Giếng, xã Hữu Bằng, Thạch Thất, tỉnh Sơn Tây (nay thuộc Hà Nội). Song thân ông là cụ ông Nguyễn Đình Xuyến và Nguyễn Thị Hòa. Ông là con trai trưởng, các em ông là Nguyễn Thị Thái, Nguyễn Dần (1928-2016), Nguyễn Hải và Nguyễn Thị Bích Hà.
Khi còn nhỏ, thể chất ông không được tốt, do vậy được gia đình cho theo học võ, với mục đích ban đầu là để phòng thân và tăng cường sức khoẻ. Nhưng do tố chất thông minh, lại ảnh hưởng thượng võ của vùng đất có nhiều sới vật nổi tiếng, ông nhanh chóng tiếp thu những tinh hoa võ thuật Việt Nam cũng như tìm thấy sự đam mê võ học.