于是在1月21日，段祺瑞秘密离开天津，于翌日抵达南京浦口车站，抵达当日，蒋介石亲率所有少将级以上的军官到车站迎接，蒋介石更是一身戎装，见到段祺瑞即敬礼，因为早年间曾在段祺瑞主持的陆军军官学校就读，蒋介石对段祺瑞乃以师徒之礼相敬。24日，段祺瑞移居上海，住在法国租界霞飞路1487号军事参议院院长陈调元的公馆。1936年11月1日，段祺瑞胃病发作，于上海宏恩医院医治无效病逝，享年七十二岁。在弥留之际，段祺瑞留下亲笔遗嘱，向政府提出“八勿”：勿因我见而轻起政争；勿尚空谈而不顾实践；勿兴不急之务而浪用民财；勿信过激言行之说而自摇邦本；讲外交者，勿忘巩固国防；司教育者，勿忘保存国粹；治家者，勿弃国有之礼教；求学者，勿鹜时尚之纷华。3日，行政院决议给予国葬，于右任、张群、居正等要员亲往致哀，上海亦下半旗志哀。11日，灵柩运抵北平西山卧佛寺后殿。抗战爆发后埋葬于西郊白石桥附近，解放后移至北郊清河镇，后又于1963年秋移葬于北京西郊香山附近万安公墓，章士钊亲题墓碑。
（二）
段祺瑞主张“武力统一”乃是希冀以武力来完成国家统一，但可惜皖系的诸位武将都上不了台面，乃至于皖系只直皖一战就土崩瓦解。皖系的将领中，以徐树铮最为出色，其人虽然性格暴戾、恃才放旷，但确实是皖系中唯一可以独当一面的将才，尤其是戍边西北出征外蒙古，一时震惊中外，也算是皖系军阀中为数不多的“名将”。至徐树铮廊坊被杀，皖系中便再无真正可堪大用的将领。皖系将领中，靳云鹏、倪嗣冲、张敬尧、卢永祥、张怀芝、段芝贵都徒有骁将之名。