在城西大街孔廟的右側，聳立一座三層樓閣，這就是亦被稱為奎星樓的古建筑——奎光閣。這是在清乾隆年間，由知州張佩芳主持建成的，匾曰：“奎光”。至道光元年（公元1821年）知州龔式谷鑒于奎光樓年久失修，“岌岌可危”，又于原址改建成今日的奎光閣。雖幾經修葺，但原貌未改。
閣為三層，高二十米，木結構，平地六角形，自下而上，逐層收縮，飛檐斗拱，造型別致，挺拔宏麗，為閣類建筑的珍品，閣基于石臺，五面設欄，成寬敞的回廊。閣內六根“通天柱”直通頂層，每層梁木與柱相連。閣內沿壁設有旋梯，游人可拾級登臨，憑窗瞻望古城秀色。