安世身材魁偉,容貌端莊,聲如洪鐘.起初任命為諫官,還未受命,回到家里對(duì)母親說：“朝廷不因?yàn)槲野彩啦毁t,讓我任諫官.倘若就任這個(gè)官職,那就要有膽識(shí)也敢于伸張正義而無所畏懼,以自己的生命來擔(dān)負(fù)起職責(zé).如果冒犯了皇上,災(zāi)禍貶官就會(huì)立刻到來.皇上正以孝道治理天下,如果說我以母親年老為托辭,應(yīng)當(dāng)可以避免任此官職.”母親說：“這就不對(duì)了.我聽說諫官是皇上面前的敢于直言諍諫的重臣,你父親一生都想做這樣的官卻未能做到,而你有幸任此官職,你應(yīng)當(dāng)獻(xiàn)出生命來報(bào)效國家的大恩.縱使遭罪被流放,不論遠(yuǎn)近,我一定會(huì)隨你去的.”（安世）于是接受了官職.他在職多年,神色嚴(yán)肅立于朝廷之上,主持公道.他當(dāng)面指斥,在朝廷上諫爭(zhēng),有時(shí)碰上皇上大怒,（他）就握著手板退一步站立,等皇上怒氣稍解,再上前爭(zhēng)辯.旁邊陪侍的人在遠(yuǎn)觀看,縮著頭害怕得身上冒汗,把他稱作“殿上虎”,一時(shí)間沒有人不敬仰他.