个连公开离队，自寻出路去了。那些原来有实权的带兵的中高级军官差不多相继自行离去，给部队造成了极大的困难。到信丰一带时，只剩下七八百人。
在起义部队生死存亡的艰难时刻，粟裕看到，朱德和陈毅对革命充满了必胜信念，他们坚决率领这支革命队伍，坚持武装斗争的道路，成为整个部队的中流砥柱。
那个时代，旧军队里官兵之间等级森严，生活待遇悬殊。但粟裕看到身为军长的朱德却过着和士兵一样的简朴生活，和士兵一样吃大锅饭，一样穿灰色粗布军装。行军时，朱德有马不骑，和士兵一样肩上扛着步枪，背着背包，有时还搀扶着伤员、病号。
陈毅是七十三团指导员。在起义队伍的危难之际，与朱德同心戮力，和那些悲观动摇企图逃跑的人进行了不调和的斗争。
据粟裕回忆，当时黄埔军官学校出身的一些军官，找陈毅表示要离开队伍另谋出路，并且劝陈毅和他们一起离队。他们说陈毅是知识分子，没打过仗，没有搞过队伍，他们则是搞队伍的，现在队伍不行了，碰不得，一碰就垮了。与其当俘虏，不如穿便衣走。这些军官中间，就有当时任七十三团七连连长的林彪。当部队离开大庾时，他和几个动摇分子脱离部队，向梅关方向开了小差。因为地主挨户团在关口上把得紧，碰到行迹可疑的人，轻则痛打，重则杀头。林彪感到走投无路，于离队的当天夜里又返回了部队。
但当林彪一邦人劝陈毅离队时，陈毅说：“我不走，现在我拿着枪，我可以杀土豪劣绅；我一离开队伍，土豪劣绅就要杀我。”他告诫说：“你们要真走，把枪留下，我们继续干革命。队伍存在，我们也能存在，要有革命的气概，在困难中顶得住，个人牺牲了，中国革命是有希望的。拖枪逃跑最可耻！”
几十年后，粟裕说：“我认识和钦佩陈毅同志，也正是从信丰、大庾开始的！”这时候，粟裕已由警卫队的班长晋升为排长。
粟裕所带的警卫排，其前身是二十四师的教导队，是由“马日事变”后从两湖逃出来的部分学生和工人干部组成的，部是党员或团员。
当时的起义队伍，在组织成分上比较复杂，其中大部分是贫苦农民出身，一部分是革命知识青年，但也有一定数量的兵痞、流氓。在未经改造之前，这部分兵痞、流氓曾是害群之马。粟裕后来回忆说：“军阀主义习气像毒菌一样腐蚀着部队的肌体。在那种异常恶劣的环境里，不良因素给部队的危害更大。在向西转移的路上，破坏群众纪律，甚至敲诈勒索、抢劫财物的事件时有发生。在信丰县城，个别官兵进饭馆吃饭不掏钱。甚至把手榴弹放在当铺的柜台上，掏出导火索，要老板称称有多重，当几个钱零花。”
朱德和陈毅在信丰附近召开了一次军大会。朱德宣布，今后这支队伍就由他和陈毅领导。他说：“愿意继续革命的跟我走，不愿革命的可以回家，不勉强。”但他还是恳切地动员大家：“无论如何不要走，我是不走的。”
陈毅鼓励将土们要经得起失败局面的考验，在胜利发展的情况下，做英见《粟裕战争回忆录》解放军出版社，第38页。
雄是容易的，在失败退却的情况下，做英雄就困难得多了。“只有经过失败考验的英雄，才是真正的英雄。我们要做失败时的英雄。”
粟裕牢牢记下了朱德和陈毅的话，以至于几十年以后仍然记忆犹新。
1927年10月底，起义队伍从信丰到大庾。国民党军阀忙于派系间的混战，暂时放松了对起义军的追击，未德、陈毅便利用这个机会领导部队进行整编。整编的重点是加强党对军队的领导，重新登记了党、团员，调整了党、团组织，成立了党支部。
当时部队中总计还有五六十名中共党员，粟裕是其中之一。那时候，起义部队还不懂得把支部建在连上，但是实行了把一部分党团员分配到各个连队中去，从而加强了党在基层的工作。粟裕说，是一项对于支部建设具有重大意义的措施。
大庾整军，起义部队统一整编为七个步兵连，一个迫击炮连，一个重机枪连，九个连组成了一个团。粟裕被任命为第五连指导员。第五连的连长是耿凯，他是朱德领导下的教育团的学生，后来在战斗中牺牲了。
大庾整军以后，粟裕就是起义部队的一名中级指挥官了。
粟裕曾说，“这次大庾整编，是我们这支部队改造的重要开端。我军的完改造，是上井冈山以后，在毛泽东同志领导下实现的。”