阿膠原本就是驢皮膠而已，未曾精製，但具有滋補藥效。

阿膠起源極早。《周禮·考工記·弓人》中就有記載：“青白，馬膠赤白，牛膠火赤，鼠膠黑，魚膠餌，犀膠黃。”只是周代時，驢皮尚未成為動物膠的主要原料。至於古人是怎樣發現動物膠藥用價值的，現在已無法考證。

一般認為，阿膠固定為驢皮製，是在秦代以後。

秦漢時期的醫藥學著作《神農本草經》記載：“煮牛皮作之。”到公元8世紀，才出現驢皮製作阿膠的記載，據《本草拾遺》和《外臺祕要》中記載，古人制膠，既使用牛皮，也使用驢皮。而直到11世紀才出現“真阿膠” 一名。

但是，普遍認為純驢皮膠的出現要比記載早得多。根據唐代《元和郡縣誌》對尉遲恭封存阿井的記載，至少在唐初，也就是公元6世紀時，使用驢皮製膠已經比較固定。換句話說，記載要晚200多年的。

而東漢孔融《同歲論》裡寫到，"弊箄徑尺，不足以救鹽池之鹹。阿膠徑寸，不能止黃河之濁。"說明至少在東漢時，“阿膠”之名也已經固定了。