衡陽鐵路早期建筑群位于衡陽市雁峰區、蒸湘區、珠暉區，時代為1933～1956年。
衡陽鐵路早期建筑群共有9個文物點，分別是：1957年建成通車的衡陽湘江公鐵大橋、1936年建成使用的衡陽站早期建筑、1947年重建的衡陽西站早期建筑、建于1938年的衡陽中山堂舊址、建于1938年的粵漢鐵路管理局圖書館舊址、建于1938年的粵漢鐵路管理局辦公樓舊址、建于1950年的衡陽鐵路管理局辦公樓舊址、建于1950年的衡陽鐵路管理局專家樓舊址群、衡陽焊軌廠（現為廣州工務大修段衡陽焊軌車間）百年鋼軌（專用線）。
衡陽地處湖南省中南部，衡陽鐵路南接廣東、西通廣西、東連江西，是我國華南地區的重要鐵路樞紐，歷史上曾是粵漢、湘桂兩個鐵路管理局所在地。從1936年粵漢鐵路開通運營到現在，衡陽鐵路為我國鐵路建設和湘中南地區經濟發展做出了不可磨滅的貢獻。同時，歷經80多年的風雨，衡陽鐵路遺存了不少歷史遺跡，成為中國鐵路的一筆珍貴財富。
近年來，經過鐵路文物愛好者的挖掘、整理和宣傳，同時在湖南省衡陽市文物局的支持和幫助下，2015年底，衡陽鐵路遺跡有10處被列入衡陽市級文物保護單位名單。
2019年，衡陽鐵路早期建筑群被批準為湖南省第十批省級文物保護單位。