其中第二十八团是南昌起义部队，第三十一团是秋收起义部队。
粟裕所在的连队属第十师第二十八团。朱德兼师长，宛希先为党代表；王尔琢（兼）团长，何长工为党代表。
井冈山会师之初，毛泽东的工作重点是军队建设，作为基层指挥官的粟裕从毛泽东那里所学到的，首先是建军思想。
井冈山会师后，毛泽东、朱德在砻市的龙江书院文星阁召开了连以上干部会议，4月末召开了中国共产党红军第四军第一次代表大会。
紧接着，毛泽东召开了一次连以上党代表会议，讨论建军问题，请与会同志发表意见。
在井冈山上，粟裕是为数不多的参加过北伐战争的指挥员。他曾经在武汉参加共产党领导的国民革命军二十四军教导队。那时，虽然也上政治课学马列主义的道理，但军事教育基本上用旧式军队的教育方式，讲的是下级对上级绝对服从。比较之下，毛泽东在井冈山上的民主建军的做法，本身就体现着一种崭新的精神。粟裕曾对朱德说：毛泽东的建军思想给他上了重要的课！
粟裕亲身参加过的信丰、大庾整编，派党员担任连队的领导干部，加强了党对基层的领导，但这时党的支部还是建在团上。上了井冈山后，知道了毛泽东明确规定支部建在连上，使党的工作扎根到了基层。粟裕说，这一重大措施，经过长期革命战争的考验，证明具有无限生命力，保证了我军在任何艰难困苦的情况下，连队都发挥着战斗堡垒作用。
在井冈山上，为了加强党在部队中的政治工作，一些优秀的共产党员被调到连队担任政工干部。上井冈山后，连队里新战士和解放过来的战士多了，需要加强政治工作，粟裕的工作多次调整调动，也都是为了加强政治工作。
粟裕所在的二十八团，是南昌起义保存下来的精华，屡立战功，但这个团在上井冈山之初轻视政治工作的思想仍较普遍。尤其是一些行伍出身的军人，看不起政工干部，认为政工干部只是摆样子，耍嘴皮子的，卖狗皮膏药的。
粟裕担任党代表后，有些行伍出身的见到他就说：“来卖膏药吗？多少钱一张？”
当时部队打人风气比较严重，虽然有废止肉刑的禁令，但有些人改起来需要一个过程。二十八团有个干部，打人相当严重，人们背后叫他“铁匠”，说他打人像打铁一样狠。有个旧军官出身的人，打人成痛，把军需、上士、传令兵、伙夫差不多都打跑了。还有老兵打新兵的现象。
打人现象越严重，部队纪律越涣散。如果哪个连队战士逃跑多，准是那个连队打人成风。
粟裕是反对打人骂人的，但由于受旧传统的影响，对于做坏事的人，最初还是认为应该加以体罚。
粟裕手下一名通信员好赌博，屡教不改。有一次，这个通信员赌博时被粟裕抓住了。粟裕很生气，就罚这个通信员“两腿半分弯”——即让他两脚跟并拢，两腿半弯曲下蹲，双手举起。这种体罚很不好受，身体再壮的人也站不了多久。
这个通信员虽然吃了一点体罚的苦头，但心里没有什么触动，过后照赌不误。
粟裕在实践中感受到旧的管教办法实在不行。
第二次抓到这个通信员赌博，粟裕不再体罚他了，而是耐心地同他谈话，启发他的觉悟，对他进行说服教育。粟裕和这个通信员谈了一两个小时，动之以情，晓之以理。这个通信员流泪了，发誓以后不再赌博。他果然再没有赌博，而且帮助粟裕做其他参加赌博的人的工作。
“对自己的同志，舌头比拳头还灵啊！”粟裕对毛泽东的建军思想有了更深刻的领会和感受，他自己的思想也得到了改造。他认识到说服教育胜过拳头，而官兵平等的实际行动又胜过万语千言。就这样，在人民军队里，扫除了几千年来军队内部的统治与被统治的关系，建立起了新型的平等关系。
当时，红军的物质生活条件极差，这一带的经济本来就不发达，仅有二千多人口的井冈山住进一万多军队，加上敌人的封锁，红军的物质生活就更加困难。
每天的伙食，除粮食外，油盐菜金五个铜板。基本上是餐餐吃红米、南瓜。当时流传着一首歌谣：红米饭，南瓜汤，秋茄子，味好香，餐餐吃得净打光。
井冈山上所有干部战士都会用稻草打草鞋。军衣基本也是自己动手做。
领到白布，用锅灰煮成灰颜色，裁好后自己一针一线地缝。
粟裕第一次领到布做裤子时不会裁，他就把身上穿的裤子脱下来拆开，照样子裁，然后再缝起来。就这样，做了一条裤子，他却缝了两条裤子。尽管做工不高，但他穿起来却特别高兴。那时衣服很少更新，全身破破烂烂的。
冬天更换棉衣更加困难，共产党员、共青团员主动带头把自己仅有的棉衣让给伤病员防寒过冬。
中央苏区建立起来后，条件稍稍好了一些，筹款也筹得多了，有时还可以发点零用钱。多时每人每次可以发到四、五元。这时，战士们便可以剃头、买牙刷和肥皂了，有时还可以改善一下生活，但每月发四、五块钱饷的时候太少了，更多的情况是连续几个月不发饷。
旧军队常常有闹饷的事，井冈山上的红军从来没有闹过饷。尽管生活苦了一些，但朱军长和毛委员吃的、穿的、用的与战士都一样。
1928年元旦，朱德为部队写了一副对联：红军中官兵夫衣着薪饷一样，白军里将校尉饮食起居不同。
对于青年粟裕，毛泽东、朱德等既是首长又是榜样。他用心领会毛泽东的建军思想，用心领会朱、毛身先士卒，与全军官兵同甘共苦的精神底蕴，以逐步提高自己的军事素养。
粟裕从毛泽东的英明运筹中学习毛泽东建立根据地的战略思想。他“确立根据地的思想是在参加创建井冈山根据地的斗争时期”产生的。
1928年初湘南暴动，成立了县政权，但当时根据地建设的意识不强，粟裕说：“那时的工作重点是扩大红军，较多从军事上着眼。”湘南的根据地因为军事失利而被迫放弃。
湘南起义部队上井冈山时，井冈山红色根据地已初具规模。粟裕说：“我们上了井冈山以后的第一个感觉是有‘家’了。”
上了井冈山，粟裕积极投身于根据地的建设。他搞社会调查，帮助建立地方政权、地方党组织和地方武装，培养、物色、考察建党建政的骨干。这些工作，不仅是直接地参加建设根据地，而且对提高部队阶级觉悟和政策观念，对纠正单纯军事观点，也有重大作用。
1928年8月，毛泽东带三十一团分兵做群众工作去了。二十八团、二十九团要到湘南去。粟裕时任二十八团三连连长。
当时，在湖南省委巡视员杜修经的再三导扬下，有些人不愿做艰苦细致的群众工作，认为在山沟里打不下天下。加之二十九团的前身是宜章农军，一些人思乡心切，急于回湘南去，于是就有了二十八团、二十九团孤军下湘南的举措，造成了“八月失败”。
部队打下郴县。原以为郴县是许克祥的部队，接火后才知道是范石生的部队。
潮汕失败后，范石生曾给朱德所部以帮助，现在打他的部队，从思想上讲总觉得不妥。打，还是不打？朱德思想上很矛盾。
黄昏时分，敌人反攻了，攻得很凶。三营危在旦夕，忙向附近的二营及团部求救。二营营长袁崇全见死不救。
二十九团是宜章农军，乡土观念严重，战斗一失利，队伍就散掉了。
当毛泽东得知二十八团和二十九团在郴县作战失利转到桂东后，就带三十一团一个营来接二十八团。出发时毛泽东向三十一团交代，见面后不要讲二十八团的缺点。
二十八团受到挫折，情绪十分低落，当听到毛委员来迎接他们时，战士们非常高兴。部队一见面，有的人就说这是我们第二次会师。
这就是“八月失败”。
在返回井冈山的途中，袁崇全伙同副营长等带着二营四个步连和团部的炮连、机枪连逃走，企图叛变投敌。四军参谋长兼二十八团团长王尔琢追赶到部队后，喊话时，遭叛徒袭击，不幸牺牲。
经过这次失败的教训。多数同志对建设革命根据地的意义以及根据地同武装斗争的关系，认识深刻多了。
好学深思的粟裕对建设根据地有了更深刻的理解和认识。他说：我跟随毛泽东、朱德打仗，所得到的最深刻的体会，是战争有它自己的规律，克敌制胜的办法必须依据敌我双方的实际情况和战争的内在规律去寻找。
南昌起义后向广东进军，沿途同蒋介石的军队正面交锋，打的是正规战。
潮汕失败后，余下的只有几百人，不能再按老办法打仗了。朱德、陈毅把队伍带进湘粤赣交界处的山区，开展游击战争，时间不长，战果不小，上上下下都觉得有搞头。于是，从打正规战转变为打游击战的思想，就这样在同敌人战斗实践中产生出来了。
毛泽东比他同时代的军事家们站得更高，看得更远。秋收起义打响后，他很快察觉打大城市不是上策，“上山”才是上策。于是改变攻打长沙的计划，转而率队伍上山。上了井冈山，敌人仍追堵包剿，他从斗争实践中体会到与强敌不宜正面交锋以硬碰硬，于是提出了山地游击战争的战略战术。
朱德率部上井冈山以后，毛泽东的游击战争思想又得到迅速发展。
“敌进我退，敌驻我扰，敌疲我打，敌退我追。”——游击战争的十六字诀，就是在井冈山会师后不久朱毛共同总结出来的。
为了适应红军战略战术的要求，部队加强了军事训练，并且增强了军事训练的实战性。爬山训练是当时的重要训练内容。
粟裕每天起床后第一个课目是爬山。不管山多高，一个跑步冲上山项，休息几分钟便往山下跑。爬山训练之后吃早饭。
除爬山训练，还有夜战训练。有的战士受封建思想影响，夜战怕鬼，不敢外出。粟裕便对这些战士进行科学知识教育和现场训练，逐渐地解决了怕鬼的问题。
射击训练是军人的必修课，这门课对井冈山的红军官兵尤为重要。当时弹药很少，一枝枪一般只有三发子弹，多时也很难超过五发，为了充分发挥这三发子弹的作用，粟裕特别重视射击训练。他每天坚持练习单手无依托举枪射击瞄准。久而久之，他一只手举起步枪，可以举一、二十分钟，他的手劲在叶挺的二十四师教导队时就已有锻炼，后来通过在井冈山的强化训练，就更有力了。
1950年，粟裕在苏联养病，疗养院的一位按摩医生同粟裕比握力。两人难分上下，苏联医生大为吃惊。
因为训练有素，粟裕的枪法相当好。他要求战士作战时，要合理地运用三发子弹作战时，冲锋前打一二发，都是打排枪，用作火力准备，接着就冲锋。第三发子弹要留到打追击时用。
在井冈山，红军是在敌人的包围之中作战，一切武器装备都取之于敌，用之于敌。红军的战略战术以能否歼灭敌人为标准。朱德指挥战斗，历来依据不同的敌人采取不同的打法。粟裕作为基层指挥官，能心领神会朱德的用兵之妙。
有一次，打赣南国民党地方武装刘士毅的部队，刚一接火，敌人就跑了。
朱德率领队伍穷迫不舍，一口气追了三十公里，俘虏敌人营长以下官兵三百人，缴枪二百五十支。从这次战斗中，粟裕理解了“敌退我追”的奥妙。
1928年6月间，国民党从湘赣两省抽调十个团的兵力，对井冈山进行“会剿”。
毛泽东、朱德决定采取避强打弱的方针，对湘敌吴尚部五个团取守势，对赣敌杨池生、杨如轩部集中兵力给以打击。红军二十九团和三十一团一个营正面阻击牵制，二十八团及三十二团一个营迂回敌后，寻机歼敌。这次战斗歼灭敌人一个团，击溃敌人两个团。
在这次战斗中，粟裕他们连队的任务是控制老七溪岭。但当粟裕部迂回到达时，敌右路先头部队已先抢占了老七溪岭的制高点。
上午粟裕率连队发起几次进攻，但都没能奏效。他灵活运用“敌疲我打”
的游击战法则，于午后敌人疲惫松懈时，隐蔽接敌，突然发起攻击，一下子突破了敌人防御。
七溪岭山峦重叠，地形险要。
粟裕跑步冲上七溪岭制高点。他身后只跟上来九名战士，其余的战士还在后面。
粟裕留下六名战士控制制高点，带领三名战士越过山顶，猛追逃敌。
过了山凹，粟裕发现有百十个敌人猬集在一起。他立即冲上去，大喊：“枪放下，你们被俘虏了！”
这时，守在山顶的司号员灵机一动吹起了冲锋号。
敌人不知底细，乖乖地缴了枪。
可是，粟裕他们只有四个人，没法拿百把条枪。他命令俘虏把枪拴卸下来。他和三名战士拿枪拴，让俘虏背空枪。
不难想象当时的惊险。如果那百十名国民党官兵对粟裕他们四人进行反扑，结局是不堪设想的。
敌人被粟裕的气势镇住了，不敢进行反扑。
粟裕的感想是：“两军相逢勇者胜！”
1929年1月，粟裕跟随毛泽东、朱德率领的红四军主力进军赣南、闽西，实行战略性出击。
第一个目的地是大庾。在大庾，红军和国民党军队遭遇。红军只好仓促应战。一场缴战之后，红军被迫退出战斗，以夜间急行军方式摆脱了敌人。
这次失利，造成一些伤亡。随后红军的行动困难起来。
为了摆脱敌人，红军以急行军向罗福嶂进军。时值隆冬，山上冰覆雪盖，粟裕和战士身上仍穿着破烂单衣。他带着队伍在崇山峻岭间穿行，每天少则四五十公里，多则六七十公里。
向罗福嶂开进时，有情报说那里是山区，地形很好，山上还有几户土豪可打。不料，尾追的国民党军刘士毅部于黎明时分追上了红军，并对红军突然袭击。
当时，二十八团担任后卫，团长是林彪，他带着队伍立即转移，把毛泽东、朱德和军直机关抛在后面，只有一个后卫营掩护。
毛泽东带着军直机关撤出来后，朱德却被打散了，身边只有五名冲锋枪手。
粟裕闻知军长失散了，心头万分着急，觉得像塌了天似的，情绪很低沉。
下午四点多，朱德回到了队伍中间。但是，他的夫人伍若兰却被敌人抓去惨遭杀害。
队伍继续东迸，经过瑞金北部向大柏地进军。
敌人在后面紧追不舍，红军官兵憋了一肚子火。
恰好朱德从粟裕连队旁边经过，战士们故意发牢骚。有个战士大声说：“当军长，不打仗！怕死让我们来指挥好了！”
此时的情况正好对红军有利。朱德回以激将法，高声说：“你们要打吗？要打就打！”
说罢，把大衣一甩，带领部队一个反冲击，把尾追的敌人打得溃不成军，缴了七八十条枪。
毛泽东、朱德发现刘士毅部孤军突出的弱点和大柏地有利的地形，遂决定在大柏地打一仗。
旧历年的除夕，红军闯到土豪家里，把土豪们准备的年夜饭吃了个净光。
然后迅速撤出大柏地，布成口袋阵，准备把尾追的敌军加以消灭。
年初一下午三时，刘士毅部进入红军布下的口袋阵。我开始对敌人实施攻击，激战至天明，歼灭了刘士毅部两个团的大部，俘敌团长以下八百多人，缴获一批枪支弹药。
大柏地大捷是井冈山出师以来的第一个重大胜利。这年9月，陈毅给�