伏波山位于漓江之濱，孤峰雄峙，半枕陸地，半插江潭，遏阻洄瀾，故以為名。又因漢伏波將軍馬援南征經此，有遠珠伏波傳聞得名。唐時山上曾建有伏波將軍庭。現有癸水亭、聽濤閣、半山亭、還珠洞、試劍石、千佛巖、珊瑚巖等名勝，還有一口重1000余公斤的”千人鍋“和重2700多公斤的大鐘，為清定南王孔有德女兒為悼其父所鑄。遠珠洞內的試劍石，緊靠漓江，為一自洞頂垂懸而下之巨石，距地面僅寸許，戛然而斷，實為奇觀。
相傳為伏波將軍試劍所致。遠珠洞和千佛巖，分布著不少唐宋摩崖石刻和佛教摩崖造像，古稱“伏波勝境”。在伏波山公園中，在三開對稱、硬脊斜坡、黃琉璃瓦蓋的仿古牌坊建筑。主體建筑上有楚圖南書“伏波晚棹”的匾額：4根主柱上掛著張安治撰書的264字長聯。“伏波勝境”豐富了園容，并起點景的作用。