他性格豪爽耿直，武艺也很精湛，又好交朋结友，更喜见义勇为，便把女儿桂荣许给了他，他和桂荣拜堂成亲之后，便寄居在岳父家中。
李谨嗜酒如命，性格有很粗鲁。在杨衮七岁之时，一天李谨在朋友家中，有个友人谈及邻庄有个恶霸，欺男霸女，横行乡里，就问李谨说：“李谨，人们都说你这个人嫉恶如仇，好管人间不平之事，你若把这个恶霸宰了，为乡民们除掉一害，才算真正的英雄。”
“我若不把这个恶霸杀死，我就不叫李谨！”李谨借着酒劲儿，就答应了。
朋友们说的是笑谈，李谨却很认真。酒席散了之后，天就黑了。李谨回到家里，取了一把钢刀，来到那个恶霸家中，借着酒劲儿，把那个恶霸和他家中老老少少十七口人都杀了。
李谨杀了恶霸家，酒还没醒，跌跌撞撞回到家来。杨桂荣一看丈夫，手持钢刀，遍身血迹，大吃一惊！一问才知，他竟杀死十七口人，当即昏了过去。
李谨为民除害，虽是好事，但在当时，杀人也得偿命，李谨悔之莫及。把桂荣唤醒之后，忙把兄嫂和邻近的朋友请来，共同商量办法。
兄嫂和朋友都说，这是人命关天的大事，那个恶霸的官亲如果追究起来，家非摊人命官司不可，都劝李谨带着家逃走。李谨和杨桂荣只好同意这么办了。当即收拾一下细软之物，准备离开杨家峪，赶奔李谨的老家河东火塘寨。杨衮的母亲给妹妹凑了一些盘缠。当把一些金银和首饰交给桂荣的时候，杨衮正在母亲身旁。杨衮幼时特别懂事，姑母对杨衮爱如亲生。杨衮知道姑母走后，再也不易见面了，心里怎不悲痛！站在姑母身旁，抽抽嗒嗒哭个不停。一看母亲送给姑母一些金银和首饰，眼睛一眨，便转身来到自己的书房，取来十两散碎银子和八吊钱，双手捧着，来到姑母前面，哭哭啼啼的说：“姑妈，这是我攒的几个钱，你和姑父留着在路上用吧！”
杨桂荣知道，侄儿的这些钱都是嫂嫂给他的零用钱，他舍不得花，一点儿一点儿积攒起来的。我怎能忍心花孩子的钱啊！便留着眼泪对杨衮说：“孩子，姑妈再怎么困难，也不能要你的钱啊！你还是留着自己用吧！”
杨衮哭道：“姑妈，我娘常说‘家贫不算贫，路贫贫煞人’啊！我妈还是常说‘瓜子虽小暖人心’啊！侄儿就用这几个钱，暖暖姑妈的心罢。无论如何，姑妈也得收了呀！”
杨桂荣想：俗话说“三岁知老，从小看大”，这孩子准有出息，心里热乎乎的，一伸手就把杨衮搂在怀内，亲了个够。然后撒开手说：“孩子，姑妈不能辜负你的心意，你这钱我就收下啦！但是姑妈不论多么困难，也不能花，就留着作纪念吧！姑妈若是想你，就拿出来看看。”说着，把十两银子八吊钱接过来，包好揣在怀里，拉着杨衮的手，直勾勾的瞅着，泪水直流。
这时，杨衮的母亲说：“桂荣，你们娘俩再怎么难舍难离，你也得走啊。时候不早啦，快赶路吧！”
杨桂荣这才撒开了手，跟丈夫李谨离开了杨家，赶奔河东去了。
杨桂荣和李谨逃到河东，到老家火塘寨安家落户。过了几年生了李胜、李信两个儿子。后来李谨因为生活所累，饮酒过量，染病身亡。杨桂荣记住了丈夫濒死时嘱咐的话，不论生活多么困难，也和两个儿子忍着，从来不给娘家写信求援，免得使兄嫂受到连累。杨衮送给她的那十两银子和八吊钱，还真没舍得花，一想起兄嫂和杨衮，就拿出来看看，免不了留下半天眼泪。杨桂荣时常跟李胜和李信说：“你表哥从小就很懂事儿，将来准会露脸。娘已上了岁数，将来若和杨衮见上一面，死了也就瞑目啦！”在每天烧香拜佛的时候，也暗暗为杨衮祝福。
小温侯李信虽然没见过杨衮。但对表哥印象很深。听说飞熊岭前的飞熊寨来了一个杨衮，便想：“这位杨衮是不是母亲时常提的那位表哥？今日闻听杨衮来到火塘山下骂阵，心里特别高兴，就有意盘问盘问，这位杨衮到底是不是自己的表哥？还想和他比试比试，认为他是表哥无疑，这才回到山寨请来母亲认亲。”
杨桂荣和侄儿杨衮一别三十多年，见了杨衮的面，也不敢认了。经过盘问，家乡住处、爹爹的名字说的很对。仔细打量一番，脸上也有小时候的一点儿模样，但怕认错了人，这才提出了十两银子八吊钱这件事。
杨衮一听老夫人提起这事，幼时和姑母临别时的状况逐渐闪在眼前，再仔细一看李老夫人的脸，不论脸的轮廓和眼睛鼻子耳朵嘴，和姑母年轻时候一模一样，这才确信眼前站着的这位李老夫人就是自己的姑妈。