從北峰往南走，便開始登上攀爬主峰的道路。距北峰不遠處是“仙人砭”，與“仙人砭”相連的就是“擦耳崖”了。這里一面是向外凸出的懸崖絕壁，一邊是深不見底的萬丈深淵，游人行至此處，唯恐被山勢逼下懸崖，需身體緊貼崖壁慢慢側身而過，道路緊仄之處更是巖壁擦耳，連臉面都蹭在崖壁上才走得過去。
袁宏道曾有詩描寫擦耳崖之險：“逋客時時屬耳垣，倚天翠壁亦可言。欲知危徑欹危甚，看我青苔一面痕。”形容經過這里不僅要貼崖擦耳，甚至臉皮都沾上了青苔。現在擦耳崖的道路已修整，寬處可走兩人。但是到了最逼仄的地方，仍然可以感受到當年的擦耳之險。擦耳崖周圍摩崖石刻很多，像天然的書法屏障。