翟让于是让李密建立队伍，由李密单独统帅，号称薄山公营。李密管理队伍纪律严明，总是教育士卒，哪怕是盛夏，也要能感受到背上的霜雪。李密衣着简朴，得到的金银宝物，都赏赐给部下，因此人们都愿意为他做事。李密队伍中的士卒大多都被翟让的士卒欺负，因为李密约束严格，因此不敢报仇。翟让对李密说：“如今钱粮充足，我还打算返回瓦岗寨，你如果不想回去，就随你的便了，翟让就此别过了。”翟让带着辎重向东出发，李密则向西来到康城，劝降了几座城，获得了大批物资。翟让很快后悔，又带着兵跟随李密。
隋恭帝义宁元年丁丑（公元617年）
李密对翟让说：“如今东都空虚，军队平时没有训练，越王杨冲年幼，留守的各位官员军务和政务混乱，百姓与他们不是一条心。段达、元文都，都昏庸无能。以我预料，他们都不是将军你的对手。如果将军你能采用我的计策，天下就可以由你指挥平定了。”于是派出他们的同党裴叔方秘密查探东都的虚实，留守东都的官员们发觉了，开始做防御的准备，并且驰马赶赴江都上表奏报。李密对翟让说：“事情的形势既然如此，不能不发兵了。兵法说：‘先行动就由自己掌握，后行动就受别人控制。’如今百姓粮食匮乏，洛口的仓库却有很多存粮，那里距离东都一百多里，将军你如果亲自率领大军，轻装突袭，朝廷离得远无法援救，之前又没有防备，夺取那里的粮食就如同在路边捡到别人丢了的东西一样简单。等朝廷知道，我们已经得到了粮食，再把粮食派发出去赈济穷困百姓，远近的人谁能不归附您？百万大军，一天就能召集完毕，我们养精蓄锐，以逸待劳。即使他们打来，我们已经有防备了。然后向四面八方发去檄文，招募贤能豪杰共商大计，挑选骁勇强悍的人，授给他们兵权，铲除隋朝的江山，发布将军你的政令，难道不是一件盛举吗？”翟让说：“这是英雄的策略，不是我能承担的，我只是听命于你，尽力做事，请你先出发，我来殿后。”庚寅日，李密、翟让率领精兵七千名从阳城北出发，翻越方山，从罗口突袭兴浴仓，攻占那里，打开粮仓任由百姓拿取，取粮的老弱妇孺在路上络绎不绝。