石达开的威信降温了。在他转战福建、湖南和广西等地时，麾下先后就有九批人马卷起了翼殿大旗，分道扬镳。
其中一路人马是杨辅清率领的，杨辅清是天京内讧前两个月，出天京到江西。内讧发生，他害怕天王罗织罪名，引军入福建，后来加入石达开的部队编制。
1858年，他率先脱离石达开，折回江西、皖南，上奏洪秀全表示拥护。洪秀全这时正在为杨秀清恢复名誉，大为欢喜，立即授他为中军主将，替代不出国门的蒙得恩。但杨辅清不是帅才，也不会较好处理同僚关系，由于杀兄之怨与韦志俊交恶，这也是加速韦志俊叛降的一个因素。这是后话了。
还有一路人马乃是1860年秋天从广西脱离石达开的。这是翼王部的精锐部队。它分两支：一支是张志公、郑忠林和汪海洋等分别率领的，由柳州、桂林东走，有六七万众。张志公等在灵川投降，只有汪海洋坚贞不屈，率部由灵川攻占兴安，入湖南、江西，并入李秀成部；另支是彭大顺、吉庆元、董容海和朱衣点率领的部队，也有四五万众，在辗转年余后，由福建至江西，并入李秀成部，这时它已扩展到二十万人了。洪秀全大为高兴，将这支人马，赐以“扶朝天军”番号。