張嘉貞潦倒失意而胸懷大志,既不自認為與眾不同,也不自卑于人,從平鄉(xiāng)尉任上免官歸鄉(xiāng),身為平民住在四圍土墻的屋子中,凄清冷落而怡然自得.當時人們并沒有誰了解他.
張循憲憑御史身份出巡,回來時住蒲州驛站.循憲將要回報情況,出使的事情還有沒有解決的,心中很是憂慮.張嘉貞問驛站的小吏：“這里有好的客人嗎?”小吏把張嘉貞告訴了他.張循憲叫來張嘉貞和他相見,拿那些經(jīng)過長時間沒有解決的事情詢問,張嘉貞隨著情況靈活應答,沒有什幺事情不通達.等到讓張嘉貞寫奏章,（那文辭條理）更是出乎意料.他日,武則天拿這件事詢問張循憲,他全按實情回答,于是請求把自己的官位讓給嘉貞.則天皇帝說：“你能舉薦賢能,是好事啊,我難道沒有一個官位自己進用賢人嗎?”于是在內(nèi)殿召見嘉貞,隔著簾子與他談話,嘉貞容貌高大英俊,神采出眾,武則天認為他與眾不同.張嘉貞于是上奏說：“我生長于民間荒野,眼睛沒見過朝廷的事,陛下誤聽他人的話,招引我到皇宮,這是萬代才有一次的機遇.然而咫尺之間,像是覆蓋著云霧,我恐怕君臣之間的道義,有一些沒有完全做到.”武則天說：“好.”急忙下令卷起簾子.第二天,嘉貞被授官為監(jiān)察御史.
開元初年,張嘉貞升遷為中書舍人,不久又升遷為并州長史,兼任天平軍節(jié)度使.有人告發(fā)他謀反,經(jīng)過審查,并沒有罪狀.唐玄宗將要治告發(fā)者的罪,嘉貞進諫說：“依照法律,告發(fā)的事情不屬實的,雖然可以反判告發(fā)者有罪,這次卻不能這樣.現(xiàn)今天下太平無憂,重兵利器,全都交托給邊關守將.如果告發(fā)者一有不準確,隨即就要治他的罪,我恐怕掌握兵權的人會萌生異心,成為日后的禍患.況且臣下是陛下信任的人,不應該因為我而斷絕了（天下人）上表言事的途徑.”唐玄宗十分高興,應允給他朝廷中樞重要的職位.嘉貞于是進諫說：“我聽說時機是難得而易失的,等到時機過去了,即使圣賢也不能制造時機.當年馬周起身徙步拜見圣主,正當年少年氣盛、血氣方剛,太宗任用他,讓他充分發(fā)揮才能,他僅僅五十歲就去世了.假如任用稍晚,就趕不上（那個時機）了.現(xiàn)在我幸好在少壯的時候,陛下不認為我沒有德才,很應該及時任用我.日后我衰老了,還能有什幺作為呢!”玄宗說：“你只管去太原（上任）,我很快會召你回來.”最終玄宗任用他當宰相.張嘉貞在任上崇尚刑清政簡,處事善于疏導開通.議論政事的人都稱贊他.