古時關於鑄造這口銅鐘，在民間流傳著一個動人的傳說:

鐘樓建成後，為給京城報時，皇帝下令鑄一口大銅鐘。

建城的官員召集天下的工匠來京鑄鐘，連鑄三年，鍾未鑄成，皇帝大怒，斬了監鑄太監，並限令80天鑄成大鐘，否則便將全體工匠處斬。

眼看限期臨近，鑄鐘屢屢失敗，老銅匠華嚴心急如焚。女兒華仙心想，此次鑄鐘如此艱難，莫非缺少點“靈性”。

於是，她向爹爹懇求，定要到鑄鐘現場看看。

鑄鐘這天，朝廷命宮，大小工匠頭領都到齊了，只見銅水在爐中翻騰，幾次取樣，華嚴師傅都搖頭，眼看最後一爐銅水又要失敗，全體工匠即將被斬。

正在這時，華仙姑娘衝到爐邊，對爹爹說:“您看那天上是什麼？”

華嚴師傅抬頭望去，只見天上正飄來一朵朵彩雲，此時華仙縱身跳入爐中，老銅匠一把沒抓住，只抓起一隻繡花鞋。

剎那間，爐火升騰，銅水翻滾，華嚴師傅忍痛發出號令“鑄鐘……”

工匠們一齊努力，大鐘鑄成了。

為了紀念華仙姑娘，在鐘樓西邊的小黑虎衚衕24號特修建了“金爐聖母鑄鐘姑娘廟”，俗稱“娘娘廟”，可惜2003年“娘娘廟”被拆，在原地蓋起了平房，現已蹤跡難覓。

祥雲縣城，又稱“洱海衛城”，一座名符其實的“古云南城”， 始建於漢唐，完備於元明，四街八巷的建築構局使整個城區成回宮格佈局，彷彿一枚方印，印把子就是縣城中心的鐘鼓樓。

傳說遠在炎帝、黃帝時代就已經開始鑄造和使用鍾。祭祀和戰爭是古代社會最大的兩件事，因為它們是獲得和維護統治權力最重要的途徑。鍾用來祭祀，鼓用來戰爭，象徵權利地位是鍾、鼓文化的靈魂，鐘鼓之樂是國家繁榮昌盛修正。古代鐘鼓樓除了作為全縣的報時中心，對於政權統治者，真是印把子也。

鐘鼓樓有多高？有民謠說：“雲南祥雲有個鐘鼓樓，半截插在雲裡頭，半截露在天外頭，初一去燒香，十五才能下樓。”

可見鐘鼓樓在祥雲人民心中的地位。