1951年10月，中央军委指示全军展开干部评级工作。1952年4月，彭德怀回国治病，中央决定留他在北京主持军委日常工作。彭德怀对干部评级的工作抓得很紧，当年基本结束。

苏联顾问出主意

　　1952年冬，总干部管理部讨论军衔的等级设置，请总政、总后、军务部和苏联顾问卡苏林等对军衔工作进行了研究，设计出几套方案，11月26日上报中央军委。

　　初步计划军衔分6等20级：大元帅，国家元帅，兵种元帅三级；上将、准上将、中将、少将四级，这个方案除准上将外，基本与苏联的军衔一致。
　　1953年12月7日至1954年1月26日，全事系统高级干部会议在北京召开，决定为适应现代化、正规化建设的需要，实施军衔制、干部薪金制、义务兵役制三大制度。

邓小平坚持不当元帅

　　1955年2月，中华人民共和国第一届全国人民代表大会常务委员会第六次会议通过《中国人民解放军军官服役条例》，以中华人民共和国主席毛泽东的名义公布。元帅分大元帅和元帅两种，大元帅军衔的五角星有一圈麦穗，元帅军衔则是黄底国徽和五角星。
　　8月下旬，毛泽东对彭德怀和罗荣桓说：“你们搞评衔，是很大的工作，也是很不好搞的工作。我这个大元帅就不要了，让我穿上大元帅的制服，多不舒服啊！到群众中去讲话、活动，多不方便啊！依我看，在地方工作的都不评军衔为好。”