实行军衔制需要改革服装，军委专门成立了军服改革领导小组，洪学智拿着礼服的样子去征求彭德怀的意见。礼服的方案定下来后，投入生产的报告彭德怀却迟迟未批，洪学智几次去找他询问，彭德怀都说：“做礼服我不反对，可肩章为什么非要搞金丝呢?我们国家并不富裕，如果把这些钱用在实实在在的武器装备上，不是更好吗?”

1955年，中国人民解放军军衔制正式颁布。在中南海怀仁堂，彭德怀接受了毛泽东为他授予的元帅军衔。

军队体制建设走上正轨后，彭德怀提出，应适时地把军事工作重点转移到国防建设上来。不仅要建设一支强大的海军，而且要打造一条钢铁的海上防线，完成沿海和纵深的国防防御体系。彭德怀的战略构想得到了毛泽东的赞同。

这天，彭德怀来到一个偏远的海岛视察，他没有按照预先安排好的去听汇报，而是直接进了伙房，和炊事员们聊天。彭德怀还问了海防团长很多问题，诸如海岛的面积、沙滩的硬度、潮汐的变化。岛上有多少官兵?多少是农村来的?他们的文化程度怎么样?把团长问得哑口无言。彭德怀批评团长：“你一不知战士的疾苦，二不知民族的荣辱，那点心思全用在给首长拍马屁上了!”彭德怀的批评让海防团长羞愧难当。