安世身材魁偉,容貌端莊,聲如洪鐘.起初任命為諫官,還未受命,回到家里對母親說：“朝廷不因為我安世不賢,讓我任諫官.倘若就任這個官職,那就要有膽識也敢于伸張正義而無所畏懼,以自己的生命來擔(dān)負(fù)起職責(zé).如果冒犯了皇上,災(zāi)禍貶官就會立刻到來.皇上正以孝道治理天下,如果說我以母親年老為托辭,應(yīng)當(dāng)可以避免任此官職.”母親說：“這就不對了.我聽說諫官是皇上面前的敢于直言諍諫的重臣,你父親一生都想做這樣的官卻未能做到,而你有幸任此官職,你應(yīng)當(dāng)獻(xiàn)出生命來報效國家的大恩.縱使遭罪被流放,不論遠(yuǎn)近,我一定會隨你去的.”（安世）于是接受了官職.他在職多年,神色嚴(yán)肅立于朝廷之上,主持公道.他當(dāng)面指斥,在朝廷上諫爭,有時碰上皇上大怒,（他）就握著手板退一步站立,等皇上怒氣稍解,再上前爭辯.旁邊陪侍的人在遠(yuǎn)觀看,縮著頭害怕得身上冒汗,把他稱作“殿上虎”,一時間沒有人不敬仰他.
劉安世的母親識大體,顧大局,不以一己之私為重,深明大義