通济桥往北沿石阶而下，迎面便是一座高耸的城楼，这就是舜江楼，俗称鼓楼。舜江楼建筑于5米高的城墙之上，这段城墙是目前余姚仅存的一段古城墙，弥足珍贵，楼与城墙连为一体，更加突出了余姚古朴的历史风貌。