那些石人是番臣石像，一開始是有頭的。後來沒有了，據說是明朝時期關中地區大地震，人們迷信認為那些石人不祥，所以砸掉了腦袋。

武則天和唐高宗李治合葬的乾陵的字碑到現在仍舊讓人猜測當初是不是無字碑，或因為年代久遠磨平了石碑文字，或因為有人故意抹去碑上的文字，現在仍是一個謎。不過在其陵墓旁的61蕃臣石像也齊刷刷的頭沒有了，到現在仍是一個謎。（有的石像大半身子都沒有了）

61蕃臣石像的身份透過考古挖掘，已經確定了身份，他們是時唐朝屬國代表或者少數民族在唐朝任職的官員，都是蕃臣。

唐末時期黃巢佔領長安，大肆挖掘唐朝皇帝和貴族的墓葬，在梁山主峰西側挖掘了一條深溝也沒有找到乾陵的入口；五代時期的溫韜擅長盜墓，他也曾經盜掘皇陵，乾陵的墓道也沒有找到；如此大規模的軍隊盜掘，乾陵墓前的61蕃臣像都毫髮未傷，在當時的人看來它們沒有多少價值。（乾陵無字碑）

據宋朝記載乾陵時，也曾經提到61蕃臣石像，如果當時頭全部沒有了，應該有記載，在宋代時期，這61蕃臣石像也沒有被“斬首”。

比較可信的是1556年1月23日午夜（嘉靖35年）在陝西的華縣發生了八級地震（可能超過八級），是有史以來記載地震最慘烈的一次，有101個縣受災，地震波及甘肅、寧夏、陝西、山西、河南等省，受災面積28萬平方公里，死亡人數有姓名記載的有83萬，震中在渭南，震中附近的寺廟全部坍塌，無一倖免。有人推測，這次地震將乾陵61蕃臣石像都損壞了，不過也有人懷疑，地震不可能只損毀石像的頭部，但是石像的其他部分沒有損毀，這一推測被排除了，石像頭部更像是人為破壞的！也有傳言是地震後，被當地人認為這61蕃臣石像帶來了不詳，因此砸掉了石像的頭。（華山大地震的震中華山）

另外一則傳言是，在明朝末年被普通老百姓損毀頭部。1641-1644年，在中國的華北地區（河北大名府）開始爆發大規模的鼠疫（又稱黑死病），很快波及到東北、江南和西北地區，尤其是1644年鼠疫從腺鼠疫轉化為肺鼠疫，傳播性更強，死亡速度和死亡率更高，各地對鼠疫深感恐懼。陝西的老百姓聽到一則傳言，瘟疫是武則天墓前的蕃臣石像成精，來到人間傳播瘟疫，不知是誰帶頭去集中幹掉了61蕃臣的石像，等到政府官員來到時，只剩下了幾個石像沒有將頭部全部幹掉。

考古挖掘已經發現部分頭像，上面都雕刻有石像的身份，以及當時是否在世的情況。

至今為止，仍然沒有明確的證據證明是怎麼損毀的，不過肯定在明朝的中後期，這兩次天災中被毀的！