根據建築施工規範，別墅外牆幹掛石材的安裝應由專業施工隊伍進行，並且必須經過嚴格的驗收程序。因此，如果在使用過程中發現石材脫落問題，責任應歸屬於施工單位或者相關承建商。他們應該對安裝工作質量負責，並承擔維修和更換損壞石材的責任。當然，業主在日常使用中應該做好維護工作，及時發現問題並及時處理，以免加重石材脫落的程度。

別墅外牆幹掛石材脫落責任歸建築工程施工單位和監理單位共同承擔。施工單位應該按照規範要求進行安裝，如出現問題應及時進行維修和處理。監理單位應該進行監督和檢查，確保施工符合規範要求。業主也需對房屋進行定期檢查和維護。若發生意外，業主可以要求施工單位賠償。

如果別墅外牆幹掛石材脫落導致人員傷害或財產損失，責任應歸屬於建築業主和工程承包商。建築業主應確保施工過程中採用符合標準的材料和技術，並對工程進行監督和驗收。工程承包商應按照合同規定負責施工，確保施工過程中的質量和安全。如果脫落是由於非人為因素造成的，如自然災害等，則責任應由自然因素承擔。