文輝塔位于興賓區政府遷江鎮扶濟村南面約100米的紅水河北岸邊。相傳為明萬歷年間(1573年一1620年)武舉黃文輝重建，故名文輝塔。屬縣級文物保護點。塔系八角八面七層平座空心磚塔。塔高35米，內徑2.72米，壁厚3米。從底層向上逐層收窄。塔頂以鐵鑄鍋為蓋。二層以上每層都有南北對開風門，其余各面均有襯托假門。底層除南北對開的風門外，西面還有一風門，其余五面亦是假門。底層風門高2．2米，寬0．84米。塔基用寬大石板構筑，呈八角形，大于塔座，塔內一至六級設有佛龕。第一級有五龕，二級以上為六龕，現塔內均無梯子可攀登。塔身及龕內，雕龍畫鳳，繕花綴鳥，色彩斑爛，使塔顯得巍峨秀麗，工藝精巧。傳說建文輝塔時，做工就有100人，吃飯才有99人，做工總是多1人，吃飯總是少1人，此人就是從天上下凡協助建塔的一位仙女，她要協助人間實現五谷豐登，六畜興旺的千年夙愿。塔建成后有“塔在遷江，影在貴縣”夸張之說。
2019年10月7日，來賓文輝塔入選第八批全國重點文物保護單位名單。