沉香寺位于東安縣淥埠頭湘江北岸的尖峰嶺上，相傳因懸崖邊上有一高大沉香樹而得名。是王夫之“瀟湘十景”之“香潭淥水”的所在地，現為東安縣禪德文化基地。也是東安縣佛教協會所在地。
該寺建于清乾隆四十八年（1783年），有正殿3座，兩房橫屋各4座。磚木結構，上蓋琉璃瓦。前殿是關圣帝君殿，內有關云長、關平、周倉等燙金塑像，像前一口直徑為1.5米的大鐵鐘；中進是大雄寶殿，有3尊大古佛像，有一個燒香紙的大鐵鼎。兩側有18羅漢和24諸天菩薩；后殿是觀音殿，有清同治八年（1869年）建造的石塔，叫飛鴿塔。塔形七層六面，高12米，座底直徑為4米。橫屋內設禪座和誦經堂，有彌勒菩薩和齊天大圣像。寺前臨江懸崖處有一石像觀音，清道光十五年（1835年）鏨成，神態慈祥。寺后石壁上刻有“我心非石”四個大字，每字2尺見方，筆力沉穆雄渾，至今清晰。