当第十一、十五军冒雨疾进，跋山涉水，穿过了大别山区，将达江边时，刘伯承于3月24日下达了《关于渡江战术注意事项的指示》，对实施渡江作战规定了十项重要的战术原则。其中要求先遣部队“首先要把敌人在江北的掩护阵地扫除，直达江边，才能进一步作切实的准备”。“在扫除敌江北桥头堡、支撑点时，特别对防碍我主要渡江点之敌，力求截断其退路，割裂其部署，予以速歼，不使其退守江南，增加以后的抵抗力”。为了保证先遣部队动作的突然性，他还布下了一系列的疑兵计：在桐柏、江汉军区部队佯攻的同时，电令刚刚配属第二野战军的第四野战军第十二兵团直出信阳，威逼平汉路南段，加大白崇禧集团的压力；令行经麻城、罗田的右路军第四兵团故意暴露行军企图，制造将出团风波江，抄袭武汉的假象。白崇禧果然慑于鄂东空虚、九江受威胁，急将安庆守军第四十六军主力经宿松撤往黄梅、九江，增强该地防务。仅留下第一七四师附一个团退缩安庆及其周围要点固守。
这时，第十一军就势进逼安庆及其东西沿江一线，控制渡口，征集船只，并作攻击安庆的准备。第三兵团率第十、十二两军即迅速跟进至桐城以南地区。
第十五军也进展顺利，连克英山、罗田、太湖、望江诸城，先头第四十五师以迅速勇猛的动作，一举攻占华阳镇及其附近的敌桥头阵地，全歼敌第六十八军留守部队。于是，第二野战军完全占领了长江北岸的预定地域，开始转入直接渡江的准备工作。
为了集中力量进行渡江作战，刘伯承适时改变了攻取安庆的部署。安庆这个突出于长江北岸的历史名城，是著名的军事重镇，它曾经有过多次阻碍或牵制北方军队南渡长江的记录。刘伯承审时度势，认为当前人民解放军百万雄师陈兵千里江岸，国民党军防不胜防，个别孤立据点已起不到障碍作用了。但是安庆擅城坚濠深之利，攻击起来必然增加伤亡。因此，他命令第三兵团不加攻击，只作监视、封锁。
在这前后，刘伯承的精力转入以战役、战术的组织领导为中心的准备工作。部队开进时，他发现部分指挥员只注意行军进度和歼敌数字，忽略了及早着手进行各项实际的渡江准备。立即发出指示：“关于侦察，渡江器材，渡江部署战术、技术诸问题，力求精确周密准备，尤应在行军中至渡江前着重对部队切实训练渡江战术、技术，万勿骄惰疏忽，误此大事。”在另外的一个电令中，他再三强调，“这是目前的重点工作，不可放松。”当两个先遣军兼程前进，第三、五兵团跟进到淮河一线时，他要求各部队就河川湖沼地形开展渡江军事训练。虽然这种训练的时间是短暂的，加上受地形条件和器材的限制，不可能收到很大的效果，但使广大指战员从思想上、行动上产生了一种紧迫感。通过训练，为全军江岸大练兵打下了基矗第二野战军在长江北岸的待机出发地域，湖泊沼泽连绵，是理想的水战练兵场所。4月初，各兵团主力相继抵达渡江出发地。刘伯承及时发出指令，要求“各部队战斗准备工作必须善于搜集船只；善于组织部队作战斗渡江的演习；善于侦察南岸敌人的防御配备进行周密的研究，力求在宽正面同时渡江的情况下，针对敌人的弱点作出重点突击的部署；善于组织集中的炮火以支援渡江的步兵，使其不遭到敌人船队、炮兵和坦克的阻碍。”各部队遵照刘伯承的指示，立即展开了全面的准备工作和热火朝天的练兵活动。
水战，舟楫是基本的条件。尤其在长江这样宽阔的水面上进行大兵团作战，没有足够的船只和相应的器材，那简直是不可想象的。国民党军鉴于湖口至贵池一带，长江向南岸凸出的地形特点，着意在这里实行严密的军事控制，平毁村寨，驱逐居民，尤其将船只劫掠一空，企图增加人民解放军渡江的困难。第二野战军先遣部队横扫江北守敌，攻取江岸敌军桥头堡后，即依照刘伯承关于“抓紧船筏及其他渡江器材的搜集”的指示，全力投入筹集船只的工作。他们面对村寨残破、人烟萧条的困难状况，发扬人民军队人民子弟兵的优良传统，访贫问苦，救灾济困，宣传大军渡江对夺取全国胜利的巨大作用，很快取得了人民群众的信任。沿江居民在短短的几天内，就贡献出一批预先藏匿的船只，并提供了许多找船的线索。野战军主力全部到达后，根据先遣部队的经验，刘伯承指示各部队普遍与中共地方组织、政权机关组成船只管理委员会，专门负责筹集船只的工作。经过半个月的努力，共搜集、打捞、修补船只1478艘，动员船工2000余名，加紧训练其成为渡江驾船的水手。结合水上训练，战士们制作出以稻草救生圈为主的救生器材，用15斤稻草，即可保证一人全负荷飘福舟楫之难，终于得到基本解决。
随着舟楫的解决，部队在内湖、夹江日夜展开了紧张的水上练兵。由于部队中北方籍战士居多，不谙水性，对滚滚长江，更有一种恐惧心理。虽经反复政治动员，思想认识、战斗意志有所提高，但克服天堑的信心仍然不足。
刘伯承了解到这些情况后，指示部队：组织水上训练要由浅入深、循序渐进。
开头着重消除大家的畏水心理，尔后再进入战术、技术综合演练。各部队通过“谈水”、“看水”、“试水”等方法，请南方籍战士和当地居民讲解长江水性，组织北方籍战士座谈和轮流观察长江水流和敌岸情况，组织练习游泳、用船和试制救生圈等活动，使战士们逐渐摸熟了长江的特性，久扰于心头的畏水情绪逐渐消失。在此基础上，刘伯承要求部队加快训练进度和加大训练强度。各部队从上下船、船只操纵、救生器材试验和各类兵器的水上射击等一般性课目，转入到航渡队形、指挥联络、步炮胁同及登陆突破等战术动作。水手的训练也在加紧进行中。要把数千名船工训练成勇敢、熟练的渡江水手，确实是一项艰巨的组织、教育工作。通过形势教育，使船工们认清了个人翻身与革命前途的关系。通过诉苦运动，启发了船工们的阶级觉悟，激发了他们在解放全中国的历史任务中贡献力量的光荣感。到4月中旬，各部队进一步举行了综合演习，在江沿湖沼找出相似地形，作出想定，反复演练。一时间，江汉湖面船行如梭，人涌如潮，呈现出一片繁忙的水上练兵场景，显示出人民解放军旺盛的斗志和必胜的信念。
在诸多的准备工作中，部队组织指挥又是刘伯承最为关心的。3月份以来，他发出一系列渡江战术指示。当年开始战略进攻突破敌黄河防线时制订的《关于敌前渡河的指导》，及在开展军事民主基础上汇编而成的《渡江作战之研究》，都作为教材印发全野战军干部学习参考。尤其是他精心撰写的《关于渡江战术注意事项的指示》，全面地科学地规定了渡江作战的战术原则，从扫除敌人江北桥头堡到建立渡江前进阵地，从思想的、物质的准备到战术、技术的演练，从突破江防到纵深追击，都一一提出了明确的要求和措施。当这个指示传到第二野战军全体干部手中时，人人感到解决了组织指挥上的各种难题，战术思想得到了进一步的提高。后来，当时的一些指挥员，只要一提起第二野战军横渡长江之战，总会情不自禁地回忆起刘伯承所写的这十项战术原则，异口同声地称赞它“周到具体、简练管用”。
渡江准备工作中的战役、战术侦察，刘伯承也付出了大量的心血。从派出先遣军扫除敌人在江北的掩护阵地起，他就强调了侦察的重要性。以后他又直接部署了野战军的战略侦察和战役侦察，指示司令部通过各种手段，包括派人偷渡，尽力搜集长江南岸的敌情，实地研究长江地形、水情，绘制出渡江作战地图。对于长江的水位、流速、暗礁、浅滩、江洲、航线，天候的晦晴、风向；两岸的地势、土质；以及船只的航速、性能、载人量；人马上下船的时间，拖拉船只所需的时间、人力等，他都要求进行细密的观察、记载，实地试验，精确计算，并依据其结果制订出适当的计划和具体的动作。
对各部队的战术侦察，他指示必须“派出于部观察，携带望远镜、察明江幅、江洲，尤其是南岸地形、工事、敌人配置，对于所发现目标在何地如何动作，都应登记下来，作为判断、决心的基矗”他认为“这种观察的侦察与战斗的侦察结合起来作用更大”。对于渡江的步、炮、工兵等组织协同动作，他也指示“应由相关干部在实地侦察中实施之。”根据刘伯承的指示，各级指挥机关组织了观察所，昼夜不停地进行观察，结合实地侦察，掌握到许多重要的敌情和长江水文地质情况，为实施渡江作战准备了可靠的资料。
3月31日，总前委书记邓小平根据中共中央、毛泽东关于“和谈以揭露敌人，备战以实施渡江”的指示，结合国民党军江防情况和第二、三野战军的兵力配置，制订了《京沪杭战役实施纲要》。决定以第二野战军组成西作战集团，以第三野战军组成中、东两个作战集团，在靖江至望江段实施渡江作战，共同协力，求歼沿江防御之敌，夺取南京、上海、杭州，占领苏南，皖南及浙江全省，前出浙赣路，彻底摧毁国民党反动统治的政治、经济中心。
另以第四野战军第十二兵团位武汉正面，在中原军区部队配合下，钳制白崇禧集团，策应第二、三野战军作战。战役计划分为渡江展开、割袭包围敌人前出浙赣路、分歼被围之敌三个阶段。邓小平强调指出，战役的关键在于东、中两集团迅速对进，打乱敌之作战体系，完成钳形合围，达成割裂包围敌人之目的。西集团着重密切协同第三野战军行动，适时以主力东进，担任攻占芜湖、夺取南京和杭州的任务，并以主力一部速出衢县地区，确实控制浙赣路一段及屯溪南北公路，断敌退路。
刘伯承遵照中共中央军委、总前委的指示，于4月8日下达了《第二野战军渡江作战基本命令》。他在分析判断了敌情多种变化的可能性后，指出：“敌人主要是扼守长江。只要我军渡江成功，无论敌人如何处置，战局的发展都将发生于我有利的变化，并有可能演变成敌人全部混乱的局面。故战斗渡江乃为京、沪、杭战役重大关键。我野战军当前江防之敌（刘汝明）较弱，又为蒋桂两系的结合部，而我军态势则处于蒋匪的侧背，成为有利的渡江突击方向。”为了便于战役进行得更为顺利，他决心以3个兵团并列在贵池至马垱间宽约200里的正面，以安庆东西地段为重点实施突破。具体部署为：第三兵团从安庆以东至棕阳段渡江，挺进歙县（徽州），截断徽杭公路，尔后沿公路东向杭州；第五兵团在安庆以两至望江段渡江，尔后速沿浮梁、婺源直出衢县，控制浙赣线，断敌退路；第四兵团于望江至马垱间渡江，尔后沿江东进，接替第三野战军第九兵团监视芜湖敌人的任务，并准备夺取南京。
各部队在成渡后，即派有力部队向两翼扩张，主动接应友邻登陆，协同作战。
第四野战军先遣兵团主力位于武汉以东，并指挥桐柏、江汉、鄂豫军区部队积极活动，牵制白崇禧集团，策应第二、三野战军渡江。
第二野战军渡江对岸的国民党军，是第八兵团刘汝明所部3个军7个师，约4万余人。其第六十八军3个师位于湖口到吉阳镇一线，第九十六军两个师位于吉阳镇至乌沙闸一线，第五十五军1个师位于乌沙闸至贵池一线。绵亘200余里的防线上，区区4万之众，面对兵精弹足的第二野战军，刘汝明白知难以抗拒，心中焦虑万分。刘伯承曾通过多种途径规劝刘汝明放弃无谓的抵抗。投到人民方面来。刘汝明执迷不悟，竟然加以拒绝。
4月20日，国民党南京政府撕下“和谈”假面具，拒绝在国共双方代表团拟就的《国内和平协定》上签字。毛泽东主席、朱德总司令随即发出“向全国进军的命令”，号召人民解放军“奋勇前进，坚决、彻底、干净、全部地歼灭中国境内一切敢于抵抗的国民党军队，解放全中国，保卫中国领土主权的独立和完整。”号令既出，第二、三野战军百万雄师，发起了声势浩大的渡江作战。第三野战军中突击集团于4月20日夜，首先在贵池至芜湖间突破，将敌长江防线拦腰斩断。第二野战军各兵团继于21日黄昏，同时在西起马垱，东至枞阳镇，约200里的宽正面上，有重点地对敌发起攻击。
第二野战军的渡江是在强大的炮火掩护下进行的。战前，刘伯承强调指出：“现代战斗的权威就是火力，而炮兵的火力就是要掩护步兵突击的成功。
我们在突破纵深阵地的战斗中，必须在每一阶段完成每一任务时尽量造成火力的优势。各种炮兵有组织而有互相联系的射击与飞雷发扬高密度的一齐发射作用极大。”据此，野战军司令部适时强化和调整了炮兵编成，除留少量炮兵对付敌人的舰队、飞机外，主要炮火都集中在第一线支援渡江，特别是集中在安庆上下流由第三、五兵团组成的主要突击地段上，正面不到30里就放列各种火炮300余门。4月21日16时，炮兵群开始试射，由于事先侦察周密和测算精确，急雨般的炮弹纷纷直接命中目标。17时30分，炮兵转入摧毁性射击，在安庆上下流的主要突击地段上，数百门大炮纷纷吐出火舌，发出震天动地的轰响。炮弹铺天盖地倾泻到对岸敌人阵地上，朵朵烟云倏忽间汇聚成浓黑的烟幕，不断地升腾和扩展着。经过整整1个小时的猛烈轰击，南岸敌人堡垒大部遭到摧毁，敌军的炮火显得极为微弱，18时30分，主渡突击基地响起了雄壮嘹亮的《人民解放军进行曲》的乐曲声。滔滔江面，霎时千船齐发，争入激流。指战员们与水手密切合作，橹翻桨飞，直冲对岸。
惊恐万状的国民党军慌乱地进行抵抗，打出一些零乱的炮弹，在江面上掀起点点水花。数架飞机赶飞上空侦察投弹，几艘炮艇前来袭扰。但在人民解放军防空、阻截、压制各类炮火的坚决还击下，飞机、炮艇连忙逃窜，对岸炮火渐渐归于沉寂。船过中流，国民党军残存的火炮和机枪再次恢复了射击，企图作最后的挣扎。突击船队立即集中各式武器予以还击，直接掩护冲锋。
勇士们发扬船自为战，舍生忘死的大无畏精神，冒着弹雨破浪前进，有的船只被击中击翻，他们边抢修边划行，有的甚至干脆跃入水中，进行泅渡。各部先头船，仅以15至30分钟的时间，即横渡长江，分头强行登陆，很快抢占了滩头阵地。由于准备充分，组织严密，第三、五兵团第一航次成功的6个步兵团，伤亡不到10人。第四兵团第十三、十五两军的突击队在彭泽上下流遭到第六十八军较为顽强的抵抗，伤亡稍大。
渡江那天，刘伯承渡过了一个不眠之夜。在作战室里，他不停地命令参谋们了解部队进展情况，计算航次、航速和过渡兵力。当第一航次报告成功时，他立即要求部队按预定方案行动。下令“一达南岸，首先是以足够兵力横扫敌人，扩大突破地段，接应友邻登陆，贯穿敌人纵深，截敌退路而兜击之。”成渡部队根据刘伯承的命令，一面分兵横扫沿江之敌，一面以主力向敌纵深挺进。后续部队则源源过江登岸，加入了对敌人的连续突击。至21日20时，已渡过了16个团，控制了宽200