桂齋在荷亭西北側，原為皇華亭故址。
新建的“桂齋”由前后兩院組成，北院為桂齋正廳和“林文忠公讀書處”組成，庭院西側有游廊和碑亭。南院為假山魚池，有六角亭及石拱橋各一。
桂齋東面院外為禁煙亭，建于民國十八年（公元1929年）六月，平面正方形，四角方形混凝土柱，西式疊澀檐口，攢尖頂，是1949年前留下的唯一建筑。
清道光九年（西元1829年），福建布政使程含章見屏山原李綱祠破敗不堪，“心竊傷之”，遂募集資金欲重建。時林則徐丁父憂在家守制，受托主持西湖疏浚工程，程含章與林則徐商議后，選西湖荷亭舊址，興建新的李忠定公（李綱）祠，并附建紀念李綱讀書處的“桂齋”。建成后留有程含章撰稿，林則徐手書《新建宋李忠定公祠堂記》。“桂齋”為李忠定公祠的花廳，取李綱晚年住所為名，并植桂花兩株。
林則徐曾語于親故：不求身后立祠，但得配祀李忠定公祠足矣。道光三十年（西元1850年）林則徐卒，翌年，州人奉其遺像祀于桂齋中。
光緒三十一年（西元1905年），澳門路林文忠公祠成，此處改稱“林文忠公讀書處”，并篆書石刻嵌于墻上。
民國十八年（公元1929年）又在齋旁建室一間和禁煙亭一座。
1949年以后，尤其是文革-時期，李忠定公祠和桂齋被毀。
1961年公布為福州市第一批市級文物保護單位。