在威海卫随营武备学堂任教时，段祺瑞赶上了甲午战争。1895年1月20日，日本的大山岩大将指挥第二军，包括佐久间左马太中将的第二师团和黑木为桢中将的第六师团，共两万五千人，在荣成湾登陆，随后对威海卫南岸炮台发动进攻，威海卫之战打响。在威海卫之战中，段祺瑞与他的学生们一起冒着枪林弹雨，为阵地搬运炮弹，帮助部队抗击日军。可以说，威海卫之战是日后的民国总理段祺瑞与日本人的第一次正面相遇，但段祺瑞恐怕不会想到，日本人未来会在他的仕途中扮演怎样的角色。
2月14日，威海卫营务处提调牛昶昞与日本联合舰队司令伊东祐亨签订《威海降约》，三天后日军在刘公岛登陆，威海卫陷落，北洋舰队全军覆没。
3月9日，日军攻陷田庄台，清朝六万多大军便由辽东全线溃退。甲午战争失败以后，原北洋舰队官兵被全部遣散，清政府更是被迫签订了丧权辱国的《马关条约》，但也正是这一场惨败，反而给段祺瑞带来了政治生涯中新的契机。