原建于唐開元年間，唐會昌五年（845）建立樓閣，五代重修，名“瑞像寺”、大中祥符元年（1008）賜名為“寶相寺”、至明永樂九年（1411）重建佛閣三層五楹，取名“毗盧閣”，萬歷廿九年（1601）建無梁橋，現在的五層五楹為光緒十九年（1893）重建。
大殿1981年大修，增塑文殊、普賢，重塑十八羅漢，主體建筑改為五層七楹，依崖而建，歇山頂，飛檐翹角，逐層退進成塔形，外觀雄偉壯麗而又精巧穩重。
“逍遙樓”匾額為唐顏真卿手書；“大雄寶殿”為清俞樾書，殿內楹聯“理哲家言同源西圣、華嚴法界現象南明”為蔡元培書。