安陽書院位于陽山鎮獅子山與長腰山之間，四面環河，環境幽靜。始建于清同治三年，由浙江候補知府錢勖募資在原慈緣庵舊址上興建，現有建筑包括書院大門、門廳、磚砌門樓、北側廂房、主廳等均為清代建筑。2005年進行整修時建慕賢堂一所。建筑面積計480平方米。書院門前的單孔小石拱橋，為明代成化八年原物，采用當地產陽山石構筑，至今保存完好，十分珍貴。門口的兩棵古銀杏已有120年歷史。
門廳，三開間，硬山頂；大門用明代青石門枕石。門廳后與天井以磚雕門樓相通；門樓上磚刻“樸作人”四字。
南北廂房各三間，硬山頂，有風火墻，南廡已毀，兩進兩廡面向中央庭院均有外廊，相互連通，圍成天井。
主廳，三開間，硬山頂，木構架為內四界前軒后雙步，兩側山墻上有風火墻。
慕賢堂為2005年進行整修時所建，面闊三間，進深六架。
兩進兩廡面向中央庭院均有外廊，相互連通，圍成天井。
2006年6月5日，安陽書院舊址被公布為第六批江蘇省文物保護單位。