民國四年《重修蒙城縣志》記載：土山在縣北十里，五丈，周一里六十步。土多石少，故呼為土山。
而據傳說，土山本名梁山。山雖不大，但山上的石材很好，可作棟梁。而且石頭裸露于外，山上的土并不多。后來山上的土為什么多了呢？
這事與“金頭御史”何惟儆有關。
有一年，北京城大建宮殿，打算征用土山的石材。
何惟儆心想，開山，采石，雕鑿，運輸，千里迢迢，困難重重。如此沉重的負擔，家鄉的人民如何承受得了！于是他趕緊派人回蒙城說明利害，讓人趕快抬土封山，把石頭全部埋在黃土之下。之后，他對工部說，蒙城的梁山，實為小小土丘，根本沒有美石。工部派人來查看，果然如此，就不再征用梁山石材。
家鄉人民免除了苛重的勞役之苦。從此，梁山也就成了土山，也有人把它叫做梁土山。