謝靈運是陳郡陽夏人,祖父謝玄曾任晉車騎將軍,父親謝奐,生下來不太聰明,曾經(jīng)做過秘書郎,很早就去世了,謝靈運幼年就很聰穎,謝玄很驚訝,對親近的人說：“我生了謝奐,謝奐是怎么生出謝靈運的呢?”
謝靈運年少的時候就很好學(xué),博覽群書,文筆之優(yōu)美在江南一帶沒有人能超過他.他的族叔謝混特別喜歡他,讓他襲爵封了康樂公,封給他三千戶食邑.以國公的身份,授予他員外散騎侍郎的職位,他沒有去,為瑯琊王大司馬做參軍.他性喜豪奢,車馬衣服都很鮮麗,又改了很多舊有的衣服器物的形制,當(dāng)時的人都模仿他,稱他謝康樂.撫軍將軍劉毅在姑孰鎮(zhèn)守,讓他做記室參軍,鎮(zhèn)守江陵的時候又讓他做衛(wèi)軍從事中郎.后來劉毅被殺,高祖讓他做太尉參軍,秘書丞,因為犯事被免官.授予宋國黃門侍郎的職位,后來又改為相國從事中郎,世子的左衛(wèi)率.因為殺害門生被免官,降公爵為侯爵,食邑減到五百戶.后來起用為散騎常侍,轉(zhuǎn)到太子左衛(wèi)率.謝靈運性格偏激,經(jīng)常違反禮數(shù)制度,朝廷只是在公文上處理一下,沒有什么實際處罰.他自認(rèn)為自己的才能應(yīng)該能進(jìn)入權(quán)力中樞,因為不為人知,常有憤憤不平的情緒.廬陵王義真年輕時喜歡文章典籍,與謝靈運關(guān)系很好.少帝即位后權(quán)柄都在大臣手中,謝靈運勾結(jié)政見相同者,挑撥政見不同者,想要擾亂執(zhí)政,司徒徐羨之等人很是擔(dān)心,把他外放到永嘉做太守.永嘉郡有山水風(fēng)景,是謝靈運一直喜好的,他做官不得志,于是四處遨游,每個縣都去過,一去就是十幾天,民間的訴訟等政務(wù)一概不管.他每到一地就吟詠詩賦,來抒發(fā)感想.做了一年郡守之后稱病辭官,族弟謝晦、謝曜、謝弘微等都寫信勸阻他,但他沒有聽從.
謝靈運的祖父和父親都葬在始寧縣,那個地方還有老宅和別墅,于是他移居到會稽,修筑了一處別院,依山傍水,盡得隱居的精髓.他和隱士王弘之、孔淳之等人縱情娛樂,就像這樣了此一生.他每當(dāng)寫了新詩傳到城市里,無論貴賤沒有不爭著抄寫的,無論是士族還是庶族都是如此,遠(yuǎn)近的人都?xì)J佩敬慕,他的名聲在京城中也很響亮.他曾經(jīng)寫過《山居賦》并自己注釋,來記錄這件事情.