回北京后，嘉靖皇帝又跑到大峪山视察坟地，他在反复对比，究竟哪一处更适合安葬父母，最后还是认定承天府的显陵。夏言这个人过于随意，竟然没有按时呈进居守敕，朱厚熜于是大怒，说他怠慢不恭。夏言意识到问题的严重性，赶紧上疏谢罪，皇帝还是很愤怒，勒令夏言退休，回家养老去吧！夏言没办法，只好离开，几天过去，朱厚熜的怒火总算是熄灭了，又想起了夏言的好，让他回来继续当官。这一进一出，简直跟儿戏似的，说退休就退休，说复职就复职。没想到，过了没几年，夏言又被皇帝赶回家了，原因是他太有个性，连朱厚熜的话都当耳旁风。当时嘉靖皇帝住在西苑，要求来西苑的大臣只能骑马。夏言一想：我堂堂内阁首辅，怎么能骑马上班呢？于是他坚决坐轿子。有一次朱厚熜看见了，心里很不是滋味，怎么？看不起朕？左耳进右耳出！嘉靖皇帝还喜欢穿道士的服装，他想让夏言也换上，便赏了香叶束发巾。夏言对这种东西是抗拒的，坚决不穿：“非人臣法服”，不是大臣应该穿的东西。这也让朱厚熜感到不满，我赐的道服不穿，是不是心里看不惯我信道？
日积月累，朱厚熜对夏言的不满越来越强烈了，严嵩看准时机，一改往日做法，向皇帝揭发夏言的种种劣迹，一边说，还一边抹眼泪，好像受到了天大的委屈。朱厚熜又气又恼，夏言真不是好东西，把严嵩欺负成这样，亲自写下诏书，怒批道：“言官为朝廷耳目，专听言主使。朕不早朝，言亦不入阁。军国重事，取裁私家。王言要密，视等戏玩。言官不一言，徒欺谤君上，致神鬼怒，雨甚伤禾。”夏言连忙请罪，乞求退休，皇帝恩准了，让严嵩顶替夏言进入内阁。