从先秦开始，人们对胶已有了深入了解，至春秋战国时代，人们对胶的品种、质量鉴别和制法已有相当经验。先秦典籍《周礼.考工记》即对此有记载。如对胶的品种指出“鹿胶青白、马胶赤白、牛胶火赤、鼠胶黑、鱼胶饵、犀胶黄”。
胶至汉代已成为常用药物，并分为、白胶(鹿胶)两种。西汉淮南王刘安《淮南子》中，有“阿胶一寸，不能止黄河之浊”一语，是现存史籍中称胶为阿胶的最早记述。汉代大临证医学家张仲景在其被后人誉为医学经典著作的《伤寒杂病论》中，以阿胶配伍成“芎当归胶艾汤”、“黄连阿胶汤”等，用以治疗内科、妇科等多种疾病。成书约在东汉末期的《神农本草经》，将阿胶列为可滋补强壮身体的“上品”，并将其性味、功效归纳为：“味甘，平，主心腹内崩、劳极洒洒如疟状，腰腹痛，四肢酸疼。女子下血，安胎。久服益气轻身，一名傅致胶”。
魏晋时期的药物学集成《名医别录》，又补充《神农本草经》的性味、功效为：“微温，无毒，丈夫少腹痛，虚劳赢瘦，阴气不足，脚酸不能久立，养肝气。”并述其别名、原料、产地为：“一名傅致胶。生东平郡，煮牛皮作之，出东阿”。东阿阿胶之所以能名誉天下，历史悠久，并非只因得天独厚之阿井(北魏郧道元《水经注》即明载此事。谓：东阿“大城西侧皋上有大井，其巨若轮，岁尝煮胶以贡天府。本草所谓阿胶也，故世俗有阿井之名”)，而是黄河流域的山东人民智慧和勤劳的产物，是万千次实践和无数汗水的结晶。
南北朝时，随着科学文化的进步，阿胶生产有所发展，医家对阿胶的质量也开始有较高的要求。陶弘景在《本草经集注》中记载，阿胶出东阿，故名阿胶，作胶因皮有老少，胶则有清浊，分三种。虽然早期阿胶的制作工艺已无文献可考，但北魏贾思勰的《齐民要术》之“煮胶法”则详载了阿胶的制作工艺全过程。“煮胶要用二月三月九月十月，余月则不成。热则不凝，无饼。寒则冻瘃，合胶不粘。沙牛皮水牛皮猪皮为上，驴马驼骡皮为次。其胶势力虽复相似，但驴马皮薄毛多胶少，倍费樵薪……”
明代，我国已进入封建社会后期，随着生产水平的提高，商品经济的发展，中医药学亦有了突飞猛进的发展，对阿胶的认识和应用也更加深入广泛。李时珍在总结前人用药经验的基础上，全面系统地总结阐述了阿胶的效用范围。他在《本草纲目》中将阿胶称为圣药，并称：阿胶大要是补血与液，故能清肺益阴而治诸证。按陈自明云：“补虚用牛皮胶，去风用驴皮胶。”成无已云：“阴不足者补之以味，阿胶之甘以补阴血。”
至清代早期，诸医家多宗前人之意，取用本品滋阴润燥，补血止血，安胎之功。在内科病方面，如《医门法律》的清燥救肺汤，清燥润肺，成为后世治疗燥热伤肺的代表方剂。《张氏医通》的阿胶连梅丸，治阴虚下痢－色，至夜发热者。《杂病源流犀烛》的阿胶四物汤，治血虚久咳。在妇科疾病方面，《妇科玉尺》卷一方胶艾丸，治行经后期。同书卷二方又有阿胶－艾丸，治妊娠跌扑内挫，胎动不安者。以上诸方都为先贤之法，只是药味组合不同而已。
电视剧《大宅门》里有个白景琦，生于清末光绪六年，长大后顽劣异常，被其母亲赶出家门，称“不混出个人样来不许踏入大宅门”，自此，白景琦独自远走济南闯荡。果然是福祸相依，那济南府后来就成了白七爷的发家之地，在举目无亲中白手起家，开创出偌大一份家业，当上商界成功人士。而白七爷借以发家的，不是其他商品，正是阿胶。当时，阿胶以滋补与疗效已名震天下，潦倒落拓的白景琦初到济南时，面对济南密集的阿胶作坊，上演了经典的商战一幕：玩弄计谋出奇制胜，换来数千两白花花的银子，空手套阿胶，收购了沿河七十二家阿胶作坊，成立了“黑七阿胶庄”。自此挖到了第一桶金，开始踏出他称霸一方的第一步。
白景琦空手套阿胶的故事，毕竟是出自电视剧，虚构的成分居多，但查之历史，明清以及民国时期，济南府阿胶带来的商业繁荣确实是事实，也确实留下了大量“白景琦”式的商业传奇。
近代以来，广大医务工作者继承前代先贤的经验，取本品滋阴润燥，补血止血、安胎之功，将黄连阿胶汤、炙甘草汤、补肺阿胶汤、胶艾四物汤、清燥救肺汤、阿胶连梅丸、阿胶鸡子黄汤等名方运用于临床，取得了较好的疗效。
