明正德六年（1511）王陽明自龍場謫歸，道過辰州，喜人士樸茂，寓龍興講寺彌月，與武陵蔣信字道林者往來講論，題詠山水。進士唐愈賢從游，得聞致良知之學，士人興起。嘉靖二十三年（1544），陽明門人辰州郡丞徐珊與邑憲副王世隆建虎溪精舍。祠內石刻文成公像，橫額書公絕句。隆慶中郡守徐延綬增置學舍。崇禎初，守道樊良樞拓舍宇，更名陽明書院。
明末兵燹廢。清康熙四十五年（1706）郡守遲瑞構數楹故址。雍正四年（1726）郡丞黃澍復修。十一年，沅陵知縣趙念增在其中設義塾，改為虎溪書院。后屢經修葺拓新為教學之所。民國時期，常年駐兵，房舍逐年頹毀。新中國建立后，1956年定為湖南省重點文物保護單位。后因長久失修而撤銷。1986年國家文物局資助，縣財政撥款，在原址仿原式建磚木結構房舍一棟，辟為縣博物館陳列室。