安世身材魁偉，容貌端莊，聲如洪鐘。起初任命為諫官，還未受命，回到家裡對母親說：“朝廷不因為我安世不賢，讓我任諫官。倘若就任這個官職，那就要有膽識也敢於伸張正義而無所畏懼，以自己的生命來擔負起職責。如果冒犯了皇上，災禍貶官就會立刻到來。皇上正以孝道治理天下，如果說我以母親年老為託辭，應當可以避免任此官職。”母親說：“這就不對了。我聽說諫官是皇上面前的敢於直言諍諫的重臣，你父親一生都想做這樣的官卻未能做到，而你有幸任此官職，你應當獻出生命來報效國家的大恩。縱使遭罪被流放，不論遠近，我一定會隨你去的。”（安世）於是接受了官職。他在職多年，神色嚴肅立於朝廷之上，主持公道。他當面指斥，在朝廷上諫爭，有時碰上皇上大怒，（他）就握著手板退一步站立，等皇上怒氣稍解，再上前爭辯。旁邊陪侍的人在遠觀看，縮著頭害怕得身上冒汗，把他稱作“殿上虎”，一時間沒有人不敬仰他。 劉安世的母親識大體，顧大局，不以一己之私為重，深明大義。