大烏山山巔之上有座古廟，相傳建于唐代中宗神龍元年（705年），由于年代久遠，歷經滄桑，毀建數次。整座廟宇全用花岡條石砌成，規模壯觀。正棟為玉皇殿，殿內佛像陳列，有鋼鐵鑄的，有石鑿的，有木雕的，還有陶制的，其貌莊嚴，威武神氣。右為觀音殿，神臺上的觀音娘娘坐于蓮花之上，雙手平擺于膝，相貌慈善。左為羅漢殿，十八羅漢各開笑口，形態不一。
大烏山的命名有有兩種說法：一是遠望大烏山，烏蒙蒙的一片，所以，人們就叫它“大烏山”。另一種，就是明洪武翰林學士解縉在山上廟里過夜，大風吹滅了蠟燭，廟里黑烏烏的，他開玩笑說：“現在不是名（明）山，而是變成了烏山了。”于是，人們就戲稱它為“烏山”。
南宋愛國英雄文天祥游歷到此，驚嘆于大烏山的雄奇，題寫了“永鎮江南”四字匾額；明朝進士鄒元標也留下了“烏山仙境”四個字的珍貴墨寶；遺憾的是一些代狀元吉水人解縉題寫的“捷足先登”牌坊在清末坍毀，僅留遺址。