文昌閣位于余姚城區龍泉山南山腰。初建于明萬歷年間。現存建筑系清同治元年（1862）傾圮后于光緒十九年（1893）由鄉人集資重建，至今完整。
文昌閣坐北朝南，重檐，東西兩側筑馬頭山墻，總占地面積達300平方米，總建筑面積250平方米。分三開間，通面闊8，45米，通進深9米。明間梁架為抬梁式，次間為穿斗式，用五柱，八檁。殿前有船棚頂軒廊，廊枋雕刻精細傳神，重檐飛椽，用材較大。地面石板錯縫鋪砌，屋面小青瓦覆蓋，置勾頭滴水。文昌閣東側另有附屬建筑，為三開間硬山平房。通面闊9.05米，通進深7.15米。梁架結構為穿斗式，用五柱，八檁。用材較小，裝飾素雅。
文昌閣系古代讀書人祭祀掌管科舉功名的文昌菩薩的場所，影響較大。具有較大的歷史建筑價值。
文昌閣已于2001年5月18日由余姚市人民政府公布為市級文物保護單位。