二祖庵位于少林寺常住院对面的钵盂峰顶。因二祖庵与其北的初祖庵相对，故当地人称之为“南庵”。它是嵩山少林景区地势最高的一座古建筑。据旧志载，相传禅宗二祖慧可立雪断臂后到钵盂峰顶养伤修炼，后寺僧为纪念二祖庵慧可而建此庵。二祖庵创建的年代大致和初祖庵同时，为北宋后期。

二祖庵坐北向南，长34米，宽28.5米。它原是一座完整的四合院，前有山门，东西有配殿，北有正殿。山门内供韦驮，亦称韦驮殿；西配殿内供紧那罗，亦称紧那罗殿；东配殿内供菩萨，亦称菩萨殿。山门及东西配殿早已毁，仅存正殿。正殿名二祖殿，为硬山式建筑，面阔三间，前檐下有明柱两根。今存殿堂应为明嘉靖四十四年重修留下的殿堂。殿内供二祖慧可塑像。二祖庵在明嘉靖、万历、天启、崇祯及清康熙、道光时曾修。1988年，又重修二祖庵大殿。1990年又在原山门处建门庭式简易门一座，并重建了围墙。

在二祖庵殿东檐下有明代天顺六年（1462年）正月铸造的大铁钟一口，为二祖庵住持僧江耐化缘得造。大钟周围铸有铭文，钟重一千斤，有八唇，刻八卦。此钟至今保存完好，钟声响亮。

近年，二祖庵周边恢复了围墙。在二祖庵院内存有明嘉靖、万历、天启、崇祯及清康熙、道光石碑九通，都为记载重修二祖庵的碑刻。

二祖庵院内有古柏多株及古井四眼。四眼古井传说为二祖慧可卓锡而成，因名“卓锡井”或“卓锡泉”。据旧志载，四井水味各异，故当地群众称之为“苦、辣、酸、甜”四眼井。四眼井实为人挖的井，卓锡得井仅为传说。金末元初杨负“卓锡泉”诗云：“至今卓锡地，莹澈有遗泉。”明宣德二年（1427年），周鉴《少林寺诗》有“山遗卓锡泉”。明万历九年（1581年）王士性《常游记》载“泉相去丈许，味各异”。由此，古井至迟凿于金末，最少有700年的历史。

二祖庵南约500米处有一高突的山崖，《少林寺志》云为二祖慧可养伤“经行处”，又称“养臂台”“炼魔台”。如今，在少林寺塔林对面乘坐索道即可直达钵盂峰顶，到达二祖庵，并领略少室山优美风光。