張嘉貞失意落魄胸懷大志,也不自命清高,也不認(rèn)為自己比別人低下.自從擔(dān)任平鄉(xiāng)縣尉被免職回到鄉(xiāng)里,在破屋中過(guò)著平民生活,怡然自得.當(dāng)時(shí)的人都不了解他.張循憲以御史（官職名）的身份出京辦差,回來(lái)的時(shí)候投宿在蒲州館驛.張循憲正打算向朝廷匯報(bào)工作,這次出使有部分事務(wù)有很長(zhǎng)時(shí)間沒(méi)有解決,非常擔(dān)心,就問(wèn)館驛官吏：“這里有沒(méi)有見(jiàn)識(shí)高的人?”館驛官吏把張嘉貞告訴了他,張循憲召來(lái)張嘉貞并與他相見(jiàn),拿那些困惑了自己很長(zhǎng)時(shí)間沒(méi)有及時(shí)解決的問(wèn)題咨詢(xún)他,張嘉貞隨口應(yīng)答,都使張循憲豁然開(kāi)朗.又讓張嘉貞起草奏章,又出乎了張循憲的意外.另一天,武則天就奏章這事問(wèn)起張循憲,張循憲告訴了她實(shí)情,并請(qǐng)求把自己的官職讓給張嘉貞.
武則天說(shuō)：“你能舉薦賢良,品德很好.我怎能沒(méi)有一個(gè)能舉薦賢人的官員呢!”于是把張嘉貞召入內(nèi)殿,隔著簾子和他說(shuō)話(huà).張嘉貞容貌偉岸,神彩俊杰,武則天很欣賞.
張嘉貞上奏說(shuō)：“我生于草莽之中,看不到朝廷的事.陛下過(guò)于相信大臣的話(huà),把我召來(lái)朝廷,這是我萬(wàn)代才能遇到一次的事.但是很短的距離,就像在云里霧間,我擔(dān)心君臣之間的禮節(jié),有的地方?jīng)]有盡到.”武則天說(shuō)：“好.”立即命人卷起垂簾.第二天,任命他為監(jiān)察御史（官職名）.
開(kāi)元（唐玄宗年號(hào)）初期,任命張嘉貞為中書(shū)舍人,改任并州長(zhǎng)史、天平軍節(jié)度使（都是官職名）.有人巫告他謀反,經(jīng)過(guò)核實(shí)沒(méi)有此事.唐玄宗將要把告發(fā)者治罪,張嘉貞勸諫說(shuō)：“國(guó)家法律：告發(fā)的事件不符實(shí),反被治罪.但是現(xiàn)在不能這樣.現(xiàn)在國(guó)家沒(méi)有戰(zhàn)事,邊境的將領(lǐng)都能擁有強(qiáng)大的兵力,銳利的兵器.如果因?yàn)楦姘l(fā)的人一次告事不實(shí),隨即就治他的罪,我擔(dān)心帶兵的將領(lǐng)會(huì)生出二心,成為將來(lái)的大患.況且我是您的心腹,不應(yīng)該為了我而斷絕了人們提建議的機(jī)會(huì).”唐玄宗很高興,許諾他說(shuō)要任命他為宰相（衡軸：代指宰相）.張嘉貞說(shuō)：“我聽(tīng)說(shuō)時(shí)機(jī)得到困難而失去容易,等到時(shí)機(jī)過(guò)去了,就算圣賢的人也不能掌控.從前馬周（人名）以平民的身份拜見(jiàn)圣明的君主,血?dú)夥絼?唐太宗任用他極力發(fā)揮它的才干,才五十歲就死了.如果任用他稍晚一點(diǎn),就來(lái)不及了.如今我幸好還年少氣壯,您不因?yàn)槲覜](méi)才能,應(yīng)該及時(shí)任用我.將來(lái)衰老以后,還能干什么呢!”唐玄宗說(shuō)：“你去太原,我馬上把你召來(lái)京城.”終于任用他為宰相.張嘉貞擔(dān)任宰相崇尚簡(jiǎn)易,善于處理事務(wù)制定決策,議論時(shí)事的人都稱(chēng)贊他.