辞官回乡后，谢灵运守着硕大的庄园，写诗作画，找朋友游玩取乐。他是待不住的人，不时率领数百随从去深山幽谷探险览胜。会稽南边的临海郡在群山峻岭的环抱之中，交通极其不便，据说风景优美但很少有人去过，更没有多少吟诵文章。谢灵运好奇心切，带上五百个家丁家将就出发了，逢山开路遇水搭桥，就是要一览“庐山真面目”。临海太守王秀得到报告说，有几百人开通了天台山和括苍山，奔临海郡城而来。临海很少有人造访，王秀的第一反应就是这是一伙强人，不是来攻打郡城就是来打劫的，下令禁闭城门做好防范。但谢灵运只是来旅游的，却吃了个闭门羹。经过交涉，王秀才知道是大名鼎鼎的谢灵运来临海搞创作了，虚惊一场。谢灵运游兴不减，在临海玩够了，临别时还拉着王秀，邀请他一起继续探索深山老林。王秀可没有谢灵运那样的闲情逸致，更不敢擅离职守，赶紧推辞了。
居家的谢灵运又惹上了麻烦。他要填湖开田，会稽太守孟不同意。谢灵运说孟不让他开发农田是因为迷信佛教，怕填湖让鱼虾丧生，并嘲笑他说：“得道靠的是天性聪慧，你生在我前，成佛必在我后。”太守孟恨死谢灵运了，告了他一状，说他有“异志”。谢灵运吓得赶紧连夜进京申辩。刘义隆对谢灵运很了解，不仅没有追究，还留他在建康主持典籍编撰。半年之内，谢灵运联合他人编定了图书上万卷。