与阿合马滥权贪污相比，卢世荣所犯的罪行要轻得多。卢世荣的罪，大都是属于擅权一类，几乎没有中饱私囊的部分。其中有一项记载，他未向右丞相安童报告，在库钞支取二十万锭。虽然控告他的人说他支取了这二十万锭，但也没有指责卢世荣贪污，可以猜想这笔钱财是用在明处，只是手续不合而已；另一项罪状，是为了成立牙行，（牙行是中国古代和近代市场中为买卖双方介绍交易、评定商品质量、价格的居间行商）以便抽取商货税，而动用了政府的钞八十六万余锭，然而这笔巨款却未能及时归还。
卢世荣更大的罪名是右丞相安童的指控，说卢世荣曾经向忽必烈上奏称：无须增加人民的负担，而是减少权势的利益，便可以每年增加税收二百万锭。其实，事情远不如料想得那么美好，安童说：“如今已四个月，卢世荣所说的与实际情况不相符合，并且当前是入不敷出的局面。”这也最终触怒了忽必烈。于是，卢世荣便在“面质”以后被捕下狱。“面质”，是在忽必烈的面前，对控告他的监察御史陈天祥辩论，当时有御史中丞阿剌帖木儿在场。
卢世荣制定的众多经济策略和他的上一任敛财重臣阿合马一样触及了很多人的利益，因此招致了敌意，他所受到的批评也和那个阿合马一样。汉文史料指卢世荣在政府内部发展同党，所以与阿合马一样，他也被指曾迫害、追杀、处死他的政治对手和潜在的政敌。但是这些罪名还有待商榷，因为这些史料只记载了与卢世荣敌对一方的言词，而根本没有记载卢世荣自己对这些事件的说法。