公孙遂觉得荀彘的分析颇有道理，就通知杨仆到荀彘的大营来开会。杨仆一到，公孙遂一声令下，荀彘的左右一拥而上，不由分说就把杨仆给绑了。还没等杨仆弄明白怎么回事，荀彘就把他关了起来，然后顺理成章地兼并了他的部众。
争端顺利解决，公孙遂连忙回朝向天子复命。
可是，让公孙遂自己和所有人都意想不到的是，武帝刘彻听完禀报，既没表扬他，也没批评他，而是直接命人把他拖出去砍了。
公孙遂就这样稀里糊涂、莫名其妙地丢掉了脑袋。
关于武帝刘彻为何诛杀公孙遂，史书没有给出任何解释。司马迁在《史记·朝鲜列传》中只写了四个字：“天子诛遂。”也就是说，武帝诛杀公孙遂并没有任何理由，或者说理由只有他自己知道。
客观来讲，公孙遂此行应该算是完成了使命。因为前线统帅闹矛盾、搞内耗、军令不一，最是用兵之大忌——这种时候就该快刀斩乱麻，迅速把兵权集中到一个人手上，才能统一号令，为胜利铺平道路。虽说公孙遂逮捕杨仆的做法稍显过激，但事急从权，这也是没办法的办法。何况武帝还给了他“便宜从事”之权，也就是可以根据实际情况临机专断、先斩后奏。所以，作为皇帝特派的钦差大臣，公孙遂这么做在法理上完全没毛病——可武帝刘彻为何突然就把他杀了呢？
我们无从揣测刘彻内心的动机。仅从事实本身而言，只能说，随着武帝刘彻在位的时间越久，乾纲独断的行为习惯愈加固化，“滥杀大臣”这个缺点也就越来越严重了。早在若干年前，汲黯就曾针对这个问题当面对他进行了劝谏。可刘彻丝毫不以为意。更何况如今他的身边，早已没有了汲黯这种犯颜直谏的社稷之臣。