坐落于香山東南之巔，約建于東漢末年，距今已有1700多年的歷史，是江南七十二大寺之一，歷史上有“佛門圣地”之稱。歷史的滄桑，原寺早已湮沒。后在原址重建，并開放為佛教活動場所。
現寺內干凈整潔，綠樹成蔭。天王殿、大雄寶殿前后左右種有各種樹木、草坪，四季鮮花怒放，環境宜人。各殿堂層層疊疊，從各方向看均煞是雄偉。
山門、天王殿、大雄寶殿于1994年底建成。山門建在香山老虎背中腰海拔125米的山坡上。山門上方的“香山寺”匾額由全國政協副主席趙仆初手書。
從山門向上攀登，跨過45級花崗巖臺階，就進入飛檐斗角、威嚴肅穆的天王殿。
再向上拾級登攀，就是規模宏偉、氣勢非凡的大雄寶殿。這是一座雙層樓閣式的大型建筑。殿東西長21米，南北寬13.8米，背高15.5米，建筑面積282平方米。黃墻、紅窗、雕梁畫棟，造型格式依照蘇州市靈巖寺的大雄寶殿。大殿規模在江南一帶可稱首屈一指。
2002年繼續建造七級寶塔1座及達摩殿、觀音殿、藏經殿、僧房等配殿。寺內設東、西兩花園，園內建有放生池、假山帶、功德亭等。為方便信徒、游人和觀光者，還建有佛光山莊、素齋館、宿舍樓等。