公元349年四月，石虎病死，小皇帝石世年幼，朝政大权由刘太后和权臣张豺把持。冉闵对现在的朝政很不满，就与姚弋仲、蒲洪、刘宁等人怂恿彭城王石遵起兵造反。石遵也很有野心，自然乐意。为了得到冉闵的全力支持，石遵还向他许诺，如果自己称帝，就立他为皇太子。不料石遵称帝后却食言了，册立了燕王石斌之子石衍为太子。冉闵非常气愤，就经常对石遵出言不逊。石遵为了巩固自己的皇位，就谋划要除掉冉闵，不过参与谋议的石鉴却向冉闵告了密。冉闵闻讯，又惊又怒，立即派兵将石遵和郑太后、太子石衍等人全部杀掉。告密的义阳王石鉴趁机做了皇帝，冉闵则当上了大将军。
史家点评：
冉闵杀死了石虎的所有子孙，并利用汉族人对石虎残暴统治的仇恨心理大肆诛杀羯胡，不分贵贱、男女，少长，进一步加深了民族矛盾。
——詹子庆《中国古代史》
由于冉闵手握重兵，威望很高，新皇帝石鉴对他也很忌惮，就密令石苞、李松、张才等人夜袭冉闵。不料冉闵打败了石苞等人，后来又打败了石鉴再次派来的龙骧将军孙伏都等人，然后直接带兵闯入了皇宫，抓了石鉴，将他软禁在御龙观。公元350年正月，冉闵将石鉴以及石虎的28个孙子全部杀死，然后自立为帝，国号“大魏”，定都邺城（今河北临漳），史称冉魏。