咸豐年間，雲南、貴州的官府及豪紳惡霸在地方實行“以漢制回”，接連製造欺凌、侮辱回民的事件。在雲南他郎(今墨江)、南安(今雙柏)等地，屢次發生搶奪回民廠礦、肆意屠殺回民、焚燒清真寺和回民村莊的慘案。地方官不但不為被害回民昭雪，反而支援暴徒擴大事態。回民一旦抗爭，即誣以“陰謀作亂”。在官府庇護操縱下，各地地方團練“以屠滅回族為能事”，大肆煽動“見回即殺”。有的地方官竟“出印結為憑”，放縱團練殺害回民。咸豐五至六年(1855～1856)，雲南永昌、緬寧、昆崗、楚雄、大理、鶴麗劍等處兵練屠回愈演愈烈。雲南巡撫舒興阿更揚言“聚團屠回，須橫直剿滅八百里”。回民朝不保夕，不得不奮起反抗。咸豐六年春夏之間，雲南回民揭起義旗。

咸豐八年(1858)，貴州西南部回民起義。次年，四川會理等地回民起義。四川會理回民起義由馬榮先領導，於咸豐十年(1860)攻佔會理州城，並聯合雲南回民起義軍攻克黎溪等處，堅持到次年，遭清軍會攻，會理城破，起義失敗，也是這一年會理鐘鼓樓毀於戰火。

現在的鐘鼓樓是戰後重建的。