初祖庵位于少林寺常住院西北2公里处的龟背形山丘上，北距五乳峰的达摩洞1800米，是为纪念达摩而建。

初祖庵院落南北长88.28米，东西宽38.72米，面积0.34公顷。中轴线上分布着山门、大殿、千佛阁等三座建筑，两侧有面壁亭、圣公圣母亭等。此外现在庵院中还保存有历史建筑5座，宋、金以后碑碣49余品，内还有唐代“六祖手植柏”等。

初祖庵大殿建于北宋宣和七年（1125年），高10.5米，长15.34米，宽14.8米，面积227平方米。面阔三间，进深三间，单檐九脊殿。檐下用五铺作单抄单下昂，重拱计心造斗栱，屋面覆绿色琉璃剪边瓦顶，前后当心间有方形板门，前檐次间有方形直棂窗。殿内石柱上有“大宋宣和七年”的题迹。

初祖庵大殿创建时间较《营造法式》颁行年代仅晚25年，虽经多次修葺，现仍可看出其梁架结构、斗栱比例多与《营造法式》一致。殿房的石外槽柱、石内柱、群墙、神台四周的精致浮雕等，均为宋代原物，为《营造法式》提供了实物证明。当心间台明下设有石砌踏道，分左右阶，中间的陛石（或称“御路”）为素面。踏道两侧壁面，做三角形象眼，分三层内凹的形式，由石材雕成，保存了我国宋代造殿之制中罕见的实物例证。大殿内雕刻为中国宋代石刻中不易多得的精品。