首先明知事故發生後，沒有合理理由離開現場的行為屬於逃逸行為。你這個將車輛留在現場，屬於棄車逃逸。逃逸應當承擔事故全部責任，但事故如果是對方追尾引發，那麼可以減輕你的責任，所以主次責。但你逃逸行為可對你駕駛證處一次性扣12分，罰款（各地不一），並可以拘留十五天以下。

你說你害怕，取得機動車駕駛證的至少年滿18歲，都是成年人，且取得機動車駕駛證都是經過考試，對於交規應當是知曉的，如果你的狀態是那種和人說話都會害怕，那你可能連學習駕駛證前體檢都過不了。事故是人家追尾你，在法理上你沒有錯，你應當理直氣壯讓對方賠償你。如果對方現場威脅你，對你人身安全產生威脅，那你應當是及時報警尋求警方幫助，我個人覺得大多數情況下警方到達現場的速度肯定比你家人更快。當然，如果你家就在旁邊，你家裡人到達現場更快（也不排除），你因為對方對你產生威脅尋求家人幫助，但，你怎麼忍心將你家人丟在被威脅的現場，一個人獨自離開，好歹至少報警帶警方去解救你的人家。對方如果真的那麼讓你害怕，他應該是個窮兇極惡的人，但面對逃逸的你一共只要求2000元賠償，基本和交警處罰逃逸罰款差不多，我只能說他是個有道德有底線的危險分子。

綜上，這個的確不合理，於情於理於法都不對，但不是對方，而是你的行為，你離開現場都解釋不過去。至於為何你離開，可能只有你自己能解釋了。但如果這些不合理都是事實的話，我只能說，是你自己的無知導致了這個局面，就當花錢買個教訓吧。