初祖庵，位于少林寺西北约1公里的五乳峰下小山丘上。是宋代为纪念达摩面壁而修建的一座庵院，又称“面壁庵”。初祖庵三面临涧，古木掩映，为山中胜境。

初祖庵主体建筑有山门、大殿和千佛阁。山门创建年代无考，当在金、元时代。现山门，1986年按旧制重建。面阔三间，进深两间，通高6.876米，为单檐悬山式建筑。前后檐不施斗栱，用中柱式构架，中间开口。在山门内、大殿前的甬道东侧有参天古柏一棵，传说为六祖慧能所种植。

大殿创建于北宋宣和七年（1125年），历代每有修葺，主要构件仍为北宋原物。它是河南省现存最古老的一座木石结构建筑，在建筑史上具有极高价值。

大殿面阔3间，进深3间，单檐九脊殿。檐下用五铺作单抄单下昂，重拱计心造斗栱，屋面覆绿色琉璃剪边瓦顶，前后当心间有方形板门，前檐次间有方形直棂窗。殿内石柱上有“大宋宣和七年”的题迹。该殿创建时间较《营造法式》颁行年代仅晚25年。虽经多次修葺，现仍可看出其梁架结构、斗栱比例多与《营造法式》一致，都是典型的宋代风格，为《营造法式》提供了实物证明。

殿房的石外槽柱、石内柱、裙墙、神台四周的精致浮雕等，均为宋代原物。当心间台明下设有石砌踏道，分左右阶，中间的陛石（或称“御路”)为素面。踏道两侧壁面，做三角形象眼，分三层内凹的形式，由石材雕成，保存了我国宋代造殿之制中罕见的实物例证。

整个殿宇施八角石柱16根，殿内的4根金柱用高浮雕，刚柔融和。12根檐柱，除4根素面，其余8根和殿墙石护脚上面也饰有浮雕，画面有武士、游龙、舞风、莲、菊、卷草、飞天、坐佛、莲花化生、凤戏牡丹、孔雀穿花、群鹤闹莲等，工艺精细，清秀美丽。殿内神台须弥座束腰各异的石雕，内容包括人物、动物、花卉和山水等，画面非常丰富，造型生动，构思巧妙，意境悠远，刀法劲健，皆为北宋宣和七年（1125年）大殿创建时所刻，距今已有800多年，是少林寺石刻中的珍品，体现了宋代绘画和雕刻技艺的水平。初祖庵大殿东、北、西三壁上还绘有达摩以下25位禅宗祖师像：东壁10幅，北壁东侧2幅，西侧2幅，西壁11幅。绘制年代约在明末，形象质朴古拙。

千佛阁为明代初祖庵住持福元创建。千佛阁前有北宋靖康元年（1126年）舍利石函一具，四面有线刻画。刀法流畅自如，堪为上品。庵院内尚有碑石40多通，其中著名的有宋黄庭坚《达摩颂碑》、宋蔡京《面壁之庵》和明刻《达摩面壁图》等。

初祖庵后，五乳峰中峰有天然石洞达摩洞，传说是初祖达摩面壁九年修行处。洞外有明万历甲辰（1604年）建的石牌坊一座，为二柱单间庑殿顶形式。檐下用四攒斗栱，南面额枋题“默玄处”，北面额枋题“东来肇迹”。

1996年11月20日，初祖庵被国务院公布为第四批全国重点文物保护单位；2010年8月1日，包含初祖庵在内的8处11项登封“天地之中”历史建筑群被列入世界文化遗产。