鼓樓位于鐘樓以西，城內北院門南段，為古代城市禮制性報時設施。清《咸寧縣志》引元李好文《奉元城圖》時，按曰：“敬時樓即今鼓樓”，可見元代已有。

明洪武十三年（1380年），在原址上建鼓樓，青磚基座，東西長52米，南北37米，基高7米，面積1924平米，從地平至樓頂高34米，樓基中有南北拱券門洞。樓呈長方形，上下兩層，重檐三層，正面為七開間，進深三間，四周有走廊，建筑術語稱之為“七間九”。

清時，樓上置大鼓，擊鼓報暮，故稱鼓樓。解放前，因年久失修，早已殘破不堪，后于1953年和1958年兩次整修，使其面目一新，與鐘樓遙相呼應，晨鐘暮鼓，昭示祥和。