罗科索夫斯基一战时参加俄军龙骑兵，获得三枚乔治十字勋章。后加入红军，1929年作为独立骑兵旅旅长曾参加苏军同张学良部队在东北的冲突，并获他的第三枚红旗勋章。大清洗中由于是波兰出生，被诬陷为波兰间谍，投进监狱。后来由于铁木辛哥说情，加上苏芬战争爆发前线急需将领，斯大林将其释放。苏德战争爆发后，罗科索夫斯基率领第16集团军参加了莫斯科保卫战。1942年9月，斯大林格勒会战中他担任顿河方面军司令，率部包围了保卢斯的的第16集团军并最后迫使其投降。1943年2月，罗科索夫斯基调任中央方面军司令，在库尔斯克会战中挫败了德军的反扑。战争后期，罗科索夫斯基任白俄罗斯第一方面军司令，向华沙挺进。但是正当苏军兵临华沙城下，波兰地下抵抗组织举行起义之时，斯大林却下令让苏军停止行动的，对德军.起义坐视不管。作为波兰后裔的罗科索夫斯基因此倍受外界指责。1945年6月24日，是罗科索夫斯基一生中最为光辉的日子，这一天，他在莫斯科红场主持了胜利阅兵式，率领红军接受了斯大林的检阅。在这次阅兵式上，红军战士将在战场上缴获的数百面德军军旗掷到了列宁墓前，重演了历史上将缴获的拿破仑军旗掷到亚历山大一世沙皇脚下的光辉一幕，阅兵仪式达到了高潮。罗科索夫斯基生前曾两次荣获 “苏联英雄”称号，并获苏联“胜利”最高军功勋章。战后罗科索夫斯基曾任波兰国防部长和部长会议主席。