日本駐中華民國大使館舊址位于北京西路1號、3號，緊鄰鼓樓西南角。--約建于20世紀二三十年代，占地面積12.7418畝，約8494.53平方米。現僅剩3號院內的一幢點式樓。該樓為磚混結構，高四層，建筑面積540平方米。
抗戰勝利后，日本駐中華民國大使館舊址作為敵偽財產被國民政府沒收，用作外交部的宿舍。原有西式樓房三幢，西式平房四幢。平房被陸續拆除。1976年，3號院內的一幢兩層樓房被拆除；1992年，為了建設消防大樓，1號院內的一幢樓房也被拆除。現存建筑房屋坐南朝北，大樓正面設有八字形磚砌樓梯，直通二樓。在八字形樓梯正中下方，設有一門。各層布局大致相同：中部右側為木制樓梯，廁所、盥洗室、客廳、臥室、辦公室分布在樓梯四周。房間內為木質條形地板、墻裙、板條天花及隔斷，北立面建有外走廊。每層設四根磚砌方柱，屋頂為木結構人字屋架，立面砌女墻，外墻面用水泥砂漿粉刷，門窗外側加水泥裝飾護套。外廊柱面、挑梁頭、門頭塑花及欄桿的細部設計，受巴洛克風格的影響。該建筑有改建加層的痕跡。
舊址現為南京武警支隊和南京武警消防總隊駐地。
2019年10月7日，日本駐南京大使館舊址入選第八批全國重點文物保護單位名單。