鳳凰古城，早在元、明時期就建有土城，當時此地為五寨長官司司所在地，現在的北門城樓就始建于明朝。明嘉靖年間，設鳳凰直隸廳，廳通判、總兵和辰沅永靖兵備道衙門都設在這里。嘉靖三十五年（1556年），將原來的土城改建為磚城。到清朝，古城的軍事地位日顯重要，古城也得到進一步的加固，在康熙五十四年（1715年）遂將原來的磚城改建為石城，石城周長2公里有余，并開設四大門，各建造了巍峨的城樓，東門稱“升恒門”，南門曰“靜瀾門”，西門叫“卓城門”，北門為“壁輝門”。北門城樓與東門城樓之間城墻相連，前臨清澈的沱江，既有軍事防御作用,又有防洪功能，形成古城一道堅固的屏障。
遺憾的是在1940年，國民第九戰區司令長官兼湖南省政府主席薛岳以“城堡一旦落入敵手，--不易，且不利于空襲疏散”為由，下令將所有城墻拆除。而鳳凰東、北二門卻因防洪需要，僅拆除了城垛碉樓，其它城門全部被拆除。現在我們只能看到東、北二門和連接其間的半壁城墻。