不论是哪朝哪代，手握军权的人总是最招人非议，不管是宋太祖的“杯酒释兵权”，还是朱元璋时候的“蓝玉案”，无疑都是对功高盖主者的约束和警醒。不断膨胀的新军让清室贵胄们眼红，袁世凯自然知道利害关系，所以主动交出第一镇、第三镇、第五镇和第六镇的兵权，几乎是让出了一半以上的兵权。1906年，袁世凯在清室贵胄“排汉”最激烈的时期，又主动辞去各项兼差，自此袁世凯的权力开始逐步缩小。
伴随着袁世凯的放权、让权，段祺瑞在仕途上也跌入低谷。这个时期里的段祺瑞，既无实务也无实权，因为第三镇、第六镇均已被清廷陆军部收去，加上清室贵胄对段祺瑞的排斥，使他几乎处在赋闲的境地。但段祺瑞并没有就此完全投入到赋闲的生活里，他开始将主要精力集中到对各学堂的督办上，既然无法主宰现在就去把握未来，而把握住未来往往就会拥有现在，因为未来终归会变成现在。
不过，北洋系的低谷期还没有过去，1907年5月7日，段芝贵行贿案发被免职，本来就遭受清室贵胄排斥的北洋系遭受重创。袁世凯让出四镇兵权以后，本来想将势力巩固在东北，将东三省作为自己的大后方，但是段芝贵出事，等于是拱手让出黑龙江巡抚的职位，北洋系的后方倏然变得风云莫测。