1958年3月，中共中央召开成都会议，毛泽东在会上明确提出：“军队落后于形势，落后于地方”，提议召开中央军委扩大会议，用整风的方式检查总结建国以来的军事工作。这之后，在中央军委副主席、国防部长彭德怀的主持下，研究确定了军委扩大会议的内容和议程。4月29日，中央军委秘书长黄克诚召集了有中央军委和各总部领导参加的座谈会，传达了中央军委确定的扩大会议议程。奇怪的是，身为总参谋长的粟裕这时虽然就在北京，却没有通知他参加这个座谈会。而且，中央军委拟定的扩大会议议程，竟赫然把解决所谓“总参和国防部关系”问题也列入其中。
总参与国防部之间存在矛盾总参与国防部之间存在矛盾，情况比较复杂。新中国成立后，徐向前被任命为总参谋长，因病于1950年初即由副总参谋长聂荣臻代理，1951年10月又增调粟裕出任副总参谋长。由于从建国初一直到1952年7月，中央军委的日常工作基本上都是由军委副主席周恩来主持的，粟裕在工作中与军委负责人之间没有发生过明显的矛盾，工作还比较顺利。唯一出现过的一次误会，是发生在他与聂荣臻之间。当时聂荣臻担心毛泽东事情太多，太忙，认为不必事无巨细都直接报到毛泽东那里去，因此要求军队方面的报告，都要经他批阅后再根据情况看是否有必要上报。过去一向按毛泽东提出的要求每半月报告一次的粟裕，自然也必须照聂总长的意见办理。没想到毛对军队系统的报告减少格外关注，在1952年夏提出了批评。为此聂荣臻不得不写报告向毛泽东作了检讨。粟裕认为自己也有责任，因此也向毛泽东做了书面检讨。没想到毛泽东不仅在他的检讨上做了批示，表示“检讨很好”，而且把粟裕和聂荣臻的工作做了对比，肯定了粟裕半年来的工作，并借机对聂荣臻又作了批评。他还特地把这个批示交刘少奇、周恩来、朱德、彭德怀、聂荣臻等传阅，这就引起了聂荣臻的很大误会。
彭德怀从朝鲜战场下来以后，周恩来即提名彭接替他主持军委工作，1952年7月得到政治局会议的批准。彭德怀很快走马上任，并立即提名调自己的老部下黄克诚担任副总参谋长的职务。于是，黄克诚成了彭德怀抓军委和总参工作的主要日常助手。虽然粟裕于1954年10月做了总参谋长，但黄克诚同时被正式任命为军委秘书长，实际上全面负责主持军委和总参的日常工作。不难看出，彭德怀对粟裕这个总参谋长也是信不过的。
一方面彭德怀信不过粟裕，另一方面粟裕为人又一向坚持原则，不事迎合，在自认为正确的问题上，常常是毫不退让，据理力争，加上他们之间对未来战争的认识和战争准备上看法的某些不同，这就不可避免地会在两人之间引起种种矛盾。粟裕就任总参谋长之后，很快就提出抽几个军作为统帅部战略预备队，配置在便于机动的地区，平时由各军区领导，但不编入各军区战斗序列，战时由统帅部统一机动的建议。对此，彭德怀认为没有必要，说全国都属解放军，一旦战争爆发，统帅部完全可以从各军区临时抽调部队组织战略预备队。粟裕则坚持认为，等战争爆发再抽调组织这支部队，一是会打乱各军区的作战计划；二是战争一爆发，交通被破坏，部队行动受阻，将会失去战机。
成立国防部后，各总部仍直接受中央军委的领导，但彭任国防部长后，为了体现国防部的领导，许多原来由中央军委和总部颁发的命令、指示，都要求改由国防部署名。而哪些要以国防部的名义发布，哪些不用，又没有明确的规定。于是，总参为中央军委起草的和总参本身下发的命令、文电，就常因署名问题而受到指责。鉴于这种情况，粟裕要求明确国防部与总参谋部的职责，以便今后在日常工作中有所遵循。1955年3月16日，中央军委接受了粟裕的意见，责成总参起草国防部与总参职责条例。但总参一连五易其稿，均未能获得通过。
彭德怀：“我不是你的通讯员！”
正是由于存在着这样一些隔阂与意见分歧，性情比较暴躁的彭德怀往往对粟裕出言不逊。甚至当粟裕在上报的文件上写了“彭副主席并转呈中央、主席”字样时，他都会大发脾气，说：“我不是你的通讯员！”在这种情况下，粟裕在工作中很难得到主持军委工作的彭德怀的支持，他对军队建设和日常工作提出的许多重要建议和意见，自然也得不到重视和及时的批复，这不免要影响到总参工作的正常运行，包括他主持下拟定的全军的作战计划，竟也长时间得不到批复。而越是这样，粟裕就越是想要解决这个问题。直到1958年5月参加中共八大二次会议时，他还当面向毛泽东表示希望能够直接跟毛谈谈自己对军队工作和总参工作的意见。
1958年5月24日，中央军委扩大会议举行第一次小型会议，参加会议者基本上都是军委委员和军队的中央委员。彭德怀在会上宣布，这次扩大会议的主要内容是整风、整编两大问题，要采取大鸣放、大争辩的方法来解决问题。令粟裕深感意外的是，一天之后，即５月26日，当他接到通知赶去中南海居仁堂参加有军委主要领导参加的会议时，发现会议竟是冲着他来的。与会者就粟裕在所谓“总参和国防部关系”上的“错误”进行了批判。批判中给粟裕扣的帽子有“一贯反领导”、“向国防部要权”、“告洋状”等。有关这次会议的内容，还向总参二级部的领导作了专门的传达，明显地是为在军委扩大会上批判粟裕定调子。
毛泽东认为批判温度不够高军委扩大会议于5月27日正式召开，萧克在这次会议上被点了名。28日，粟裕被迫在有50多人参加的军委扩大会第二次小型会议上作检讨，但这时会议的气氛还比较缓和。对此，毛泽东不很满意。他认为会议的温度不够高，因此要求元帅们和与会者以整风的精神大鸣大放，通过会议与大小字报相结合的办法，一周之内使空气紧张起来。
30日，当召开第三次小型会议时，黄克诚传达了毛泽东关于“把火线扯开，挑起战来，以便更好地解决问题”的指示。于是，会议的温度迅速上扬，总参二级部的一位部长在这一天直接点出了“彭总与粟总长之间有隔阂，将帅不和”这个问题。主持会议的彭德怀当即表态赞同扯开这个问题。
6月1日，针对有人担心把领导者个人之间的关系问题搞到大会上去影响不好，彭德怀在主席团会议上再度表明自己的态度说：“我不能同意×××的态度，说是会议有师级干部参加，我和粟的问题在军委小会谈即可，不要在大会上搞，怕传出去不好。有什么不好？这是软弱！”因此，对粟裕的批判迅速扩展到大会上去了。会议的组织者不仅向各组介绍粟裕的所谓“问题”，而且开始组织和动员一些领导干部对粟裕进行“揭发”批判。
对于扩大会的斗争形势，毛泽东看来还是不太满意。6月9日，黄克诚传达毛泽东的指示说，主席对我们的会议决心很大，
强调开不好，大家就不要走。因此，会议还要扩大范围，每个师的党委书记都要来。