但是李世民并没有死心，他为了说服父亲，又去找另一个好朋友裴寂帮忙，一起商量应该如何行事。裴寂心生一计，他利用职务便利，在晋阳宫中挑选了几个美女，把李渊灌醉之后，让美女们陪李渊过夜。第二天，裴寂对李渊说：“让宫女侍奉过夜已经触犯了宫中的律法，如果让隋炀帝知道的话一定会被杀头的，与其坐等被杀，不如下定决心起兵吧！”李渊左思右想，长叹了一声说道：“罢了，罢了，事已至此，我别无选择。”最终答应了起兵。
李渊把晋阳令刘文静从监牢里面放了出来，让他协助李世民，一边招兵买马，一边假借隋炀帝的名义下了一道公文：晋阳、西河、马色、雁门各地百姓，凡年龄在二十岁以上、五十岁以下者皆征发为兵，东征高丽。这道命令一下，百姓议论纷纷、怨声载道，反叛的火苗愈发高涨。
晋阳的两个副留守奉命调查招兵买马的情况，发现李渊派人把在河东带兵打仗的两个儿子李建成和李元吉叫了回来，而且隋炀帝命令李渊去讨伐刘武周，李渊却以手下的兵马需要训练作为借口，拖延出兵的时间。种种异常的举动，让这两位副留守不禁心中生疑，看出了李渊父子图谋发动叛乱，于是他们暗中拟定计划想要进行阻挠。恰逢这一年许久没有降雨，土地干旱、民怨沸腾，两位副留守事先埋伏好兵马，然后恳请李渊去拜神求雨，准备趁机杀掉他，夺取李渊的兵权。但是这件事不知怎么让晋阳乡长知道了，他急忙去通知李渊，让他小心这两个副留守。李渊因此躲过了一劫。差点成为刀下鬼的李渊自然不会轻易放过这两个设计害他的人，于是李渊以这两个人勾结突厥，里通卖国为由，把他们抓起来斩首示众。