余江縣衙位于錦江鎮中心街，始建于宋代，元代至清代曾幾建幾毀，民國六年曾重修。縣衙坐東北朝西南，石磚木結構。面闊59米，進深82米，占地面積4838平方米；大堂為懸山屋頂，抬梁穿斗式。青瓦覆蓋，釉瓦滴水。紅石墻面，紅石地面。整座衙門原本共六進，依次為大門、儀門、過岡亭、大堂、花廳、住房等六部分。
余江縣衙是江西省僅存兩處較為完整的古縣衙之一。縣衙依山臨水，氣勢宏偉，“玉真山峙其后，云錦溪環其前”，選址甚佳。縣衙后有玉真臺、經德堂、柳祠檜色等名勝，東有果老丹池、挹仙亭等古跡。縣衙前西面有北宋時知縣崔同亨建的云錦樓，可下瞰錦水，遠眺黎浦嶺。白天帆影悠悠，夜晚漁火點點。站在縣衙前，遠近勝景盡收眼底。清朝詩人、邑庠生胡起元有《錦水湍流》詩，專寫縣衙前所見美景。
1987年9月15日，余江縣人民政府將余江縣衙門列為第一批縣級文物保護單位。2005年11月6日，鷹潭市人民政府將余江縣古縣衙列為第一批市級文物保護單位。2018年3月公布為江西省第六批省級文物保護單位。