至此，阿南司令官终于不得已批准了反转。
3日晚，阿南惟畿发出了撤退命令：
一、本军已达成牵制敌军于长沙以策应华南第二十三军之作战任务。
二、本军中止在长沙之作战，于1月4日夜间开始撤退，向汨水之线前进。
三、本军主力于榔梨市一带渡过浏阳河，在其附近集结，然后经以下道路撤退；
第三师团，由麻林市经福临铺至伍公市；
第六师团，由麻林市经栗桥至新市；
第三、第六师团于4日日没后开始撤退。
四、第四十师团一部留于金井附近，掩护军之侧后；主力即时开始向春华山前进，击溃所在之敌，接应军主力后撤。
五、独立混成第九旅团向麻林市前进，接应军主力撤退。
六、外园支队到达岳州后，迅速向界头市前进，击溃妨碍军主力撤退之西部地区守军。
冥顽不化的阿南没有把撤退时间限定在3日夜晚或4日早晨，是因为他和前方的丰岛房太郎一样，对于攻占长沙还没有彻底死心。他发布撤退命令委实是出于无奈，但他给前线的部队预留了一天的攻击时间。他倒要看看，丰岛等人在这一天里能否兑现他们的承诺。
1月4日凌晨，日军全线展开疯狂攻击，妄想在撤退之前攻下长沙，同时也是为了隐蔽撤退的企图。