鼓樓原名譙樓，該樓以獨特的古代建築風格而著稱，為明代建築藝術的精萃。 《霍州志》載：“鼓樓供奉文昌帝君、財神爺於其上。”因此，鼓樓又稱“文昌閣”。因年代久遠，又無實證，樓上的鐘、鼓已無法查考。

　　清乾隆七年（1742），州民曾捐資對鼓樓予以補修，並增設圍欄，裝飾龕閣、金柱等。這是鼓樓歷史上第一次維修工程，在閣樓一層回廊內現存乾隆七年（1742）的《補修譙樓碑記》。解放以來，對鼓樓進行了整體重修與彩繪。 鼓樓建築為三重檐十字歇山式閣樓，八卦琉璃罩頂。總面積225平方米，通高22米。底座基用青石、磚砌而成，十字拱洞貫穿南北東西。

　　拱洞東楣書“對霍”，言東迎霍山之意；南楣書“迎熏”，意謂迎接南方的熏風；西楣書“鎮汾”，言鼓樓威鎮汾河氾濫之意；北楣書“拱辰”，語出自《論語》“為政以德，譬如北辰，居其所而眾星供之”。意謂執政者，如能以德感人，則近者悅，遠者來，天下歸心。 樓的二、三層為木構製作，布局精巧，風格獨特，整體造型雄偉壯觀，典雅別致。四面各懸挂貼金大字匾額一塊，東書：護國安民；西寫：覽秀西河；南匾：輔元開化；北刻：保障冀北。匾額環周祥龍瑞雲，鏤刻剔透。門面上雕有各種花卉、鳥獸圖案，形象生動，栩栩如生。與四週精雕細刻的木制回廊和花卉圖案形成了一組精美的藝術珍品，達到了“雖由人造，宛自天開”的意境。 樓的屋面的修造採用琉璃筒瓦覆蓋，三角形滴水，在戧脊頭分別制置二十八宿琉璃造像和三彩琉璃脊獸，工藝精湛，形象生動。各層檐角起翹，加以檐下鬥拱重疊，宛如雲朵簇擁，給人以凌空欲飛之感。每個翼角、仔角樑上裝有龍頭套獸，下部懸挂風鈴，風吹鈴動，其聲清脆悅耳。登樓眺望，水光山色，城周景致，一覽無余。