对于山楂的药用，我们的祖先早有认识，古书中也有较多的记述。公元四世纪郭璞注《尔雅》一书中即说山楂果“但云可食，尚未标以为果，而入药则盛于近世”。明代李时珍在《本草纲目》(1578)一书中，称山楂可“煮汁服，止水痢”，“治疮痒”，“治腰痛”，“消食积，补脾，治小肠气，发小儿疮疹”，“治妇人产后儿枕痛，恶露不尽，煎汁入砂糖服之，立效”等等。李时珍还搜集总结了当时用山楂治病的验方，如治疗“偏堕疝气”方为“山棠木肉、茴香(炒)各一两为末，糊丸梧子大，每服一百丸，空心白汤下”。治老人腰腿痛方为“用棠子、鹿茸(炙)等份为末，蜜丸梧子大，每服百丸，日二服”。治“肠风下血，用寒药、热药及脾弱药均不者，独用山里果干者为末[52石斛网www.52shihu.com]，艾汤调下，应手即愈”。治“痘疹不快，干山楂为末，汤点服之，立出红活”。到了近代，山楂仍是一味重要的中草药。中药里“焦三仙”(焦神曲、焦麦芽、焦山楂)中，就有一味是山楂。保和丸、山楂丸、至宝锭等中成药，山楂也是重要原料。
现代药物学家的研究表明，山楂的果实和根、茎、叶中都含有重要的药用成分，如经研究发现，原产欧洲的一种山楂叶中含有解皮素、芸香甙、牡荆素，无色矢车菊素以及黄酮聚合体与山楂酸、熊果酸、绿原酸、咖啡酸、挥发油等成分。山楂果、根、茎、叶及其制剂能降血压，降低胆固醇和血酯在血管壁上的沉积，增加皮下毛细血管的通透性，山楂浸膏中的黄酮水解产物和三萜酸等有强心、增大心跳振幅的作用。
山楂制剂有明显的抗菌作用。山楂果对福氏与宋氏痢疾杆菌、变形菌、大肠杆菌都有一定抑制作用。山楂茎、叶煎剂对金黄色葡萄球菌和炭疽杆菌也有抑制作用。山楂核制剂对绿脓杆菌、金黄葡萄球菌、枯草杆菌、大肠杆菌都有较好的杀灭效果。用山楂核制成的杀菌灭蚊香，有很好的空气消毒作用，且对人体无毒性。用山楂叶或花代茶，可治疗老年性心脏病，与果实合用可预防和治疗动脉粥样硬化，对高血酯症、冠心病、菌痢、急性病毒性肝炎、迁延性慢性肝炎、肾盂肾炎、疝气、皮肤病等，在临床上都有很好的疗效。山楂核馏油是治疗神经性皮炎等皮肤病的较好药物。此外，在药膳中将山楂列为小儿、老年人健脾消食、抗老防衰的良药。
随着人们对山楂药用价值认识的提高，国内外都在研究它的药理作用和临床应用，以山楂为原料制成的药物已有五、六十种之多，山楂制剂列入许多国家药典。