柳山書院建于半山開闊之地，這里田地平展，水港橫斜；周圍重山環繞，層峰疊翠，側連寺院。書院為磚木結構，外體長方形，長約三百八十九米，寬約九十八米。總建筑面積三萬八千平方米。四面的墻皆為青磚平砌，前后重屋頂民房式，風火墻內，蓋瓦從不同方位向內傾斜。書院內進五重，由外而里，依次為教學區、藏書區、教師宿舍、學生宿舍、生活區等。按當地百姓的說法，書院應該分為三大廳，前廳順山墻起列分上下二層，樓下每邊置廂房八間。由前廳過大天井，登兩旁臺階，進入中廳。中廳檐高十點二米。從中廳過兩側之小天井到后廳，后廳為供孔圣人所在，也稱為神堂。“文革”時期，柳山書院改作國家糧庫。一九七三年糧庫拆遷后書院被毀。