粟裕紀念館位于懷化市會同縣城西南邊沙梨界粟裕公園內，209國道旁。
紀念館建成于1987年4月，由北京建筑學院設計，建筑面積500平方米。建筑結合地型特點，把現代建筑與傳統民間建筑以及繪畫手法融為一體。整個建筑物線條明快，富于想象。館前花崗石碑坊上帶圓的三角形象征日月，表示永恒。館名由原中華人民共和國主席楊尚昆題寫。紀念館正門內墻正中高掛兩幅字屏。一幅是中國共產黨中央顧問委員會、中國共產黨中央軍事委員會對粟裕的評價：“在長期的革命戰爭中，粟裕同志始終戰斗在第一線。他努力學習并創造性地運用毛澤東軍事思想，指揮過一系列重大的戰役、戰斗，尤其善于組織大兵團作戰，表現了卓越軍事才能，為中國人民的解放事業立下了不朽的戰功。”一幅是粟裕九十華誕，時任中共中央總書記江澤民題書贊譽粟裕“出奇制勝的軍事指揮藝術創造性運用毛澤東軍事思想”。紀念大廳內矗立大將粟裕半身銅像，粟裕生前使用過多年的《中國全圖》懸掛在粟裕銅像后面。粟裕紀念館分別陳列粟裕青少年時代、新民主主義革命時期、社會主義革命和建設時期的生平事跡及革命活動資料照片等。
2007年是粟裕一百周年華誕。中共會同縣委、縣人民政府對粟裕紀念館重新陳列。紀念館由第一展廳和第二展廳兩個廳組成。陳列的內容共五部分。第一部分：投身革命，轉戰湘贛閩浙邊；第二部分：抗擊日寇，馳騁大江南北；第三部分：戰略決策，逐鹿中原，揮師江南；第四部分：嘔血瀝血，致力軍隊現代化、正規化建設；第五部分：滄海一粟，永遠活在人民心中。
2010年7月，粟裕故居和紀念館被湖南省委宣傳部公布為省級愛國主義教育基地。