这个时候，翟让手下的人便开始眼红了，首先是心腹王儒信，私下里劝说翟让废掉李密，把大权重新收回来，接着是亲大哥翟弘也跑来劝翟让把老大的位置抢回来。
翟弘这货本来就粗鄙且愚蠢，估计也是有意想让李密听到，竟不分场合，当众跟翟让道：“让弟，瓦岗本是你创立的，论功劳没人比得过你，将来要是得了天下当皇帝，只能你来当，绝不能给了别人。”
翟让尴尬之极，当众训斥大哥翟弘胡说八道，而后者却不以为然，还大言不惭地反驳道：“皇帝只有一个，九五之尊号令天下，怎能让给李密来当呢？让弟你要是不想当，那大哥我来当好了，反正绝不能让给外人。”
嘿嘿，这货还真敢说，结果这番话传到了李密耳中，李密自然是十分恼火，不过以他的城俯，还能忍而不发，但也对翟弘起了杀心。
翟弘这蠢货大放厥词之后，发现李密也没把他怎么样，于是更加有恃无恐了，不仅不听李密的号令，还经常折辱李密麾下的谋臣和将士，就连作为长史（相当于秘书长）的房彦藻也没逃过，所以李密麾下的人都恨极了翟弘。
话说翟让这个人的优点是比较宽宏大度，但也有一个致命的缺点，那就是比较贪财，有一次，一名叫崔世枢的官员跑来投靠李密，正好被翟让撞见了。翟让眼见这个崔世枢拖家带口，还拉来了几十车的家私细软，于是便命人把崔世枢抓起来，逼其把带来的财物全部“献”给自己。
这件事自然让李密相当光火，翟让这么做，分明是没把自己这个魏公放在眼内啊，而且此事传了出去，还有人敢来投靠自己吗？
而恰好这个时候，翟让宴请李密的记室参军刑义期，刑义期由于去晚了，受到了翟让的责罚，打了三十军棍，打得是屁股开花，鲜血直流，跑回来找李密哭诉。
如此种种，李密终于憋不住了，勃然大怒，房彦藻见状暗喜，立即煽风点火道：“好教魏公得知，上次翟司徒还怪属下，说属下上次攻破了汝南郡，得了大量的财物，却只分给魏公的自己人，一个子儿也不分给翟司徒和他麾下的人，而且翟司徒还说……”
李密皱眉冷道：“翟让还说了什么？”
“属下不敢说！”房彦藻小心翼翼地道。
“说！”李密面现怒色，声音也提高了几度。
房彦藻这才讳莫如深地低声道：“翟司徒还说，就连魏公你也是他一手拥立的，以后还不知会如何呢！”
李密眼中寒芒一闪，面色也阴沉下来，盯着房彦藻
…。。