1950年9月,在杜鲁门总统的再三要求下,马歇尔出任美国国防部长。在任上,他坚持美国既定的以欧洲为重点的战略方针,支持总统制止了麦克阿瑟等人扩大朝鲜战争的企图。但是,随着冷战的开始,美国国内掀起了以麦卡锡主义为代表的反共浪潮。这个浪潮也波及到了马歇尔身上。有人攻击他同罗斯福合谋,蓄意制造了珍珠港事件,指责他二战中在战略上始终奉行亲苏路线;谴责他在赴华调停中出卖了国民党蒋介石。他终于认为自己作为军人的生涯早该结束了,他不适合做政治家,因而再度辞职。
1951年,他被授予五星上将军衔。1953年,他获得了诺贝尔和平奖。
1959年10月16日,马歇尔在华盛顿的沃尔特·里德医院逝世。对于后事,马歇尔有这样的遗嘱:“简葬于我,一如美国陆军为自己祖国光荣尽职的每个普通军官。切勿铺张,力戒盛典。葬仪从简,仅限亲属参加。不事声张,万为重要。”