自古名山佛占多。桂峰山，海拔1034米，是呂田境內的一座名山，也是從化流溪河的發源地之一。 傳說很久很久以前，有幾個云游四海的高僧，路過呂田，就上桂峰山，受到當地村民盛情款待，奉上當地盛產的黃豆和豆腐。高僧說：“黃豆、豆腐食無數，四處不及桂峰好。”
高僧詳細考察，發現桂峰山空氣好、水質好、土質好，還是石灰巖地帶，加上豆種不同，長出來的黃豆粒小皮青。高僧贊曰：“真乃精品也，善哉，善哉！”高僧繼續考察制豆腐的工具和制作方法，發現當地人家是把黃豆放在青色的花崗巖石磨中手磨。高僧又問：“山上不見青巖，此青石磨何來？”當地人說：“有一天電閃雷鳴，1，轟轟巨響，山巖裂開，極深處露出青石，十分光潔，后來用繩索將石工放下去開采，制成石磨，磨出來的豆漿特別鮮滑，制成豆腐特別滑嫩，且不易破碎。”高僧嘆曰：“奇哉！奇哉！”
桂峰水流出呂田河，呂田墟周圍的村莊也家家學會了磨豆腐，桂峰豆腐便發展成呂田豆腐了。