8岁时，入私塾读书，读了4年，家道中落，回乡务农。

1914年，到天津、北京等地学徒谋生。后又投奔在四川绵阳冯玉祥部当兵的舅舅。

1917年，冯玉祥率领第16混成旅官兵讨逆，高树勋因作战勇敢被升为冯玉祥的手枪连班长。

1918年，冯玉祥在鄂东重镇武穴通电全国，反对段祺瑞，段祺瑞约冯玉祥到汉口谈判。高树勋率手枪班随冯玉祥赴汉口，当冯玉祥的贴身警卫，终使冯玉祥安全归来。

冯玉祥将他送进学兵营学习测绘、军事操典、射击常识。结业后被任命为机枪营司务长。1920年，高树勋升任排长，受冯玉祥的影响，加入基督教。

1924年9月，第二次直奉战争爆发，高树勋升任直属队机枪营营长。1925年8月，又升任团长，军衔为陆军上校。1926年9月17日，冯玉祥在五原誓师，宣布全军加入国民党，高树勋成为国民党员。此后，随冯玉祥四处征战，官职也一路高升，一直到官居青海省代省长的要职。

1930年中原大战，西北军失败，高树勋部缩编为27师，列入孙连仲的27路军，投靠蒋介石。

1931年，参加了国民党对中央苏区的第二次和第三次“围剿”，被红军击败。

1933年5月，冯玉祥将军在张家口组织抗日同盟军，高树勋又到该部当骑兵师长。抗日战争全面爆发后，高树勋出任河北省保安处副处长。直到河北省保安部队改编为国民革命军陆军新编第6师。

1938年2月19日，日军占领了新乡市。根据国民党最高统帅部不准高部南渡黄河的指示，高树勋指挥所部新8军，有计划、有步骤、有目的地交替掩护撤退。

1940年4月，石友三在冀南战斗中遭到八路军的毁灭性打击，遂转而投靠日军，在开封与日本驻军司令佐佐木签订互不侵犯协议，并准备在联合消灭八路军后向日军投降。石的结义兄弟、部下高树勋不愿做汉奸，遂密谋暗杀石友三。石友三率1连骑兵随孙良诚到高树勋部驻地河南濮阳柳下屯。高树勋率旅长以上军官将他们迎进会议室，大家谈笑风生，共叙往事。不一会，有一勤务兵入内对高树勋说：“太太有事相请”。高树勋即离室而去，突然，四名卫兵进入会议室，将石友三架走。当天夜里，高树勋命士兵将石友三活埋于黄河岸边。

1945年9至10月，国民党发动了进攻解放区的上党战役和平汉战役（又称邯郸战役）。刘伯承、邓小平在进行平汉战役的同时，开展了秘密争取高树勋率部起义的政治攻势。高树勋对蒋介石在国民党军队内部排斥异己、挑起内战的行动表示不满和反感。

1945年9月上旬，高树勋派人秘密来到上党战役前线指挥部面见刘伯承、邓小平，商谈和平事宜。同年10月，孙连仲率高树勋、马法五、鲁崇志等三个军沿平汉路北上。大军走到邯郸、磁县一带，被我军围阻，我军发起了平汉战役。我军区参谋长李达冒险穿过火线亲自到高树勋军营面谈，这使高树勋很感动，终于下定了决心起义。10月30日，高树勋率新8军及河北民军万余人在马头镇正式宣布起义，以通电形式向全国发出了《停止内战团结建国的起义宣言》，声明脱离国民党阵营。高树勋率部起义后，使敌军受到很大震动，丧失了固守的信心。刘伯承将解放军主力调至漳河以北敌退路两侧，于运动战中歼敌孙连仲部两个军计2.3万余人，生俘敌40军军长马法五，副军长刘世荣等高级将领，取得了平汉战役的胜利。

1945年11月2日，毛泽东主席、朱德总司令给高树勋发来了贺电。11月10日，起义部队改称民主建国军。中共中央军委任命高树勋为民主建国军总司令，王定南为总政治部主任、范龙章为第1军军长、乔明礼为第2军军长。高树勋由邓小平、薄一波介绍，经中共中央书记处批准，于1945年11月13日加入了中国共产党。

高树勋起义对于蒋介石及其统帅部引起较大的震动，使其感到“兵心不固，民心不归”，发动内战的时机还不够成熟。高树勋起义及平汉战役结束后，蒋介石阴谋部署发动内战的大量文件被缴获，延安新华社选其重要密令7件公开发表，使全国人民认清了国民党挑动内战的真相。

高树勋起义及随后开展的“高树勋运动”，成为国民党军队中有爱国心、厌恶内战的广大官兵的一面旗帜，他们在此后的国民党内战前线大批倒戈起义，加速了全国解放战争胜利的进程。但当时八路军过急地收整编了高树勋的起义部队，也造成了不好影响，刘邓大军主力出击外线后，晋冀鲁豫根据地一度非常紧张。

新中国建立前夕，高树勋出席了中国人民政治协商会议第一届全体会议，参加了中华人民共和国的开国工作。建国以后，他当选为全国政协委员，国防委员会委员，第一、第二、第三届全国人大代表，民革中央委员、河北省民革副主委，并长期担任河北省副省长职务。1955年，毛主席根据中华人民共和国第一届全国人民代表大会常务委员会第22次会议决定，授予高树勋一级解放勋章。

1972年1月19日，高树勋在北京逝世，终年74岁。