原名望江樓，原為耒陽古城之通津門城樓，始建于明洪武年間，清康熙五十八年復修。之后，屢經修葺。
該樓為磚木結構，四層八面，建于青石基座上，座高2.9 米。墻厚0.8 米，通高約27 米，一至三層為青磚砌筑，各面開窗，一層北向有拱門，門上豎額“環秀樓”，為明學者解縉題寫。四層為磚木結構，每面開窗。上三層外環以磚護欄，欄下施彩繪。樓內有木梯可達各層，各層施藻井，屋面均按八卦圖形構筑，此中含有“天人合一”之意，在古代建筑中尚不多見。翹檐上飾石雕獅、鹿、豹、麒麟等瑞獸，檐柱上端飾木雕彩獅戲球，形態生動。花窗上所飾人物花卉浮雕，制作十分精美，有較高的藝術價值。2002 年5 月19 日，由湖南省人民政府公布為省級文物保護單位。
地址：耒陽市城東沿路中段