位于常熟城東白茆鎮芙蓉村。明代末年著名文學家錢謙益與才婦柳如是結合，白發紅顏，轟動一時。因柳氏不耐城市塵囂，故移居此處錢性舅父家。村中有一棵植于明代嘉靖年間的紅豆樹，樹高12米，干徑0.73米。當年每逢紅豆樹開出“色白如珠，微香濃郁”的花朵，錢、柳總要邀請詩壇名流前來觀賞，一時文采風流，盛況空前，傳為文壇佳話，“紅豆山莊”由此聞名遐邇。
紅豆樹原產于嶺南，江浙一帶較為罕見。“紅豆生南國，春來發幾枝，愿君多采擷，此物最相思”。艷麗而堅實的紅豆，歷來成為詩人筆下愛情與友誼的象征，“紅豆山莊”之命名，即含錢、柳兩人姻緣美好之意。