段志玄,齐州临淄人。其父段偃师为太原书佐,从高祖李渊起义,官至郢州刺史。段志玄自少就和李世民关系相当亲密。在潼关与刘文静协同抵拒隋将屈突通时(此人日后也成为凌烟阁上二十四功臣之一),刘文静被屈突通大将桑显和击溃,关键时刻,段志玄率二十骑飞奔进击,杀数十人而还。当时他脚上中了一中流箭,怕属下知道自己受伤,摇功军心,就忍痛不言,多次往返冲入敌阵。桑显和军大乱,唐军趁机复振,最终大败隋军。
不久,段志玄跟随李世民讨伐王世充,他冲入敌阵时马倒被俘,为两个兵将挟持着,一人抓住他的一边头发骑马拖着将过洛水,“志玄踊身而奋”,努力一挣,两个敌将落入水中,他乘机夺马驰还,后面追者有百余骑,都不敢近逼,最终安全回营。而后太子李建成以金银财宝贿赂他,段志玄都告知给秦王李世民,并在玄武门之变中参加战斗。太宗继位,封樊国公。文德皇后丧礼期间,段志玄与宇文士及分统兵马出章肃门,太宗在夜间派宫使至二将军处,宇文士及马上开门迎纳使者,段志玄闭门不纳,说:“军门不可夜开。”宫使说:“有皇帝手敕。”志玄说:“夜中不辩真伪。”竟让皇帝宫使等到天明才放进。太宗闻后赞叹:“真将军也。周亚夫也比不了呵。”
贞观十六年病死,赠辅国将军,谥曰忠壮,陪葬昭陵。