北伐军在天津受挫的消息传到天京，天京方面就积极抽调兵力，组织援军。北伐援军于1854年2月4日从安庆出发，3月在丰工抢渡黄河，进入山东境内。山东当时灾情严重，饥民遍野，太平军经过这里，群众纷纷参加进来，这就大大增强了北伐援军的力量。4月间，他们就攻下了山东北部重镇临清州，这里离阜城只有二百多里，两军的会师已是指日可望了。可惜援军没有能继续北上和北伐军会合。清军撤出临清时，烧毁了所有不能劫走的粮草，这时又包围临清，断绝了城中的接济。北伐援军中新参加的群众大都没有受到严格的整顿训练，更缺乏革命的教育和锻炼。许多新兵到了临清州，见到大军粮草一时接济不上，竟然动摇起来，纪律松弛，纷纷逃散。北伐援军的领导和太平军的老战士屡加劝阻也约束无效，队伍一时陷入紊乱状态。在这种情况下，北伐援军只好撤出临清。在撤退的路上，援军曾经一度打败追击的清军，但是后来终于被清军各个击破。
当北伐援军到达临清州的消息传来，李开芳、林凤祥等非常高兴。他们组织兵力于1854年5月初从阜城突围到达直隶东光之东西连镇，并决定由林凤祥留守连镇，李开芳率马队二千多人进入山东高唐州迎接援军。李开芳到这里才知道北伐援军已经失败。他们不但得不到支援，反而使林、李两军从此分开，各自孤军作战，力量更加单薄。但是林凤祥仍然率领几千太平军和清军展开无数次血战，坚守连镇十一个月。残暴的清将僧格林沁在连镇周围四十里筑围墙，挖深壕，包围连镇，又挖开河水灌入城内。太平军弹尽粮绝，最后以吃树皮充饥。在这极端困苦的情况下，他们仍然坚贞不屈，战斗到底。1855年3月林凤祥率余部突围，不幸被俘，被敌人用极刑杀害。临刑时，他怒目看伤处，满怀着对于反动统治者的深仇大恨，英勇就义。李开芳在高唐州也一直坚决抵抗清军的围攻，后来突围到茌平县的冯官屯。清军在攻破连镇后，便集中全力进攻冯官屯。僧格林沁又用老办法引运河水灌入城内，李开芳在突围中被捕，1855年6月在北京英勇就义。临死之时，他“笑语如常，旁若无人”，异常从容镇定。与此同时，北伐军全体将士也都壮烈牺牲，北伐战争终于失败了。