通濟橋往北沿石階而下，迎面便是一座高聳的城樓，這就是舜江樓，俗稱鼓樓。舜江樓建筑于5米高的城墻之上，這段城墻是目前余姚僅存的一段古城墻，彌足珍貴，樓與城墻連為一體，更加突出了余姚古樸的歷史風貌。
舜江樓初建于元至元元年（1335），以舜江命名，樓上設置刻漏用以計時。明清兩代，多次毀而又建，清光緒十一年，重建后更鑄大銅鐘，兼作報時和火災報警之用。舜江樓作為城樓扼守姚城地理地勢要沖，是古代余姚城的重要門戶，具有相當的戰略地位，明嘉靖年間，在余姚人民保衛家園，抵御倭寇侵擾的斗爭中，舜江樓上曾設置鐘、鼓、云板等，在戰斗中發揮了巨大的作用。
舜江樓是余姚古建筑中采用官式做法的突出一例，具有重要的建筑科學價值。
通濟橋和舜江樓是余姚古代建筑中的優秀代表，體現著余姚古代工匠杰出的建筑智慧和能力。自古以來一直作為余姚古城的標志性建筑物，是余姚城古代文明的歷史見證，是余姚城的歷史徽標。
1995年4月，通濟橋和舜江樓被中共余姚市委、余姚市人民政府命名為余姚市首批愛國主義教育基地之一。