等到唐武宗李炎登基之后，那种不寒而栗的感觉始终挥之不去。李炎越来越觉得李忱内心深处极有可能藏着一些不为人知的东西。他觉得身边留着这么一个深不可测的人，迟早是个祸害。于是，种种意外事故开始频频降临到李忱身上。
当时宫中的贵族流行打马球，皇帝喜欢和亲王们一起切磋球技，李忱经常突然从马上坠落，或者在宫中走路的时候忽然被东西绊倒，从台阶上滚下去，摔得鼻青脸肿、遍体鳞伤。
冬天的时候，下了大雪。李忱和诸位亲王随同天子出游。李忱又一次从马背上跌落，昏倒在冰天雪地之中，众人竟然没有发现。等到夜深了，李忱醒了过来，正好有个巡警路过，将他送回了十六王宅，他才没有被冻死在雪夜里。但是心怀不轨的李炎以为李忱这次回不来了，所以当李忱又在十六宅出现时，李炎既惊讶又生气。
唐武宗李炎气急败坏，密令自己的亲信宦官将李忱抓起来，在密室里关了好几天的禁闭，捆起来扔进了大明宫的厕所中。宦官仇公武看不下去了，便冒死救出了李忱，他把李忱藏在了私家车上，偷偷送出了长安城。李忱离开长安之后，一路向东，隐姓埋名，逃到了浙江安国寺削发为僧，直到后来重返朝中。