永樂二十二年（1424年）十月，仁宗皇帝即位不久，在朝廷內外頒下詔書，責令群臣秉公直言，對朝廷的所得所失作出評論。虞謙應詔上言陳述七件大事，每件大事都切中當時的流弊。第一，慎重用人。他說：要想帝業興旺，國家昌盛，必須要做到用人得當。如果用人不當則帝業衰亡。第二，興辦學校。教書育人是學校的根本。第三，端正風氣。第四，廣儲蓄。國家倉儲空乏，必須預先積儲，以備災荒時需用。第五，愛惜民力，重視發展農業，缺少馬的郡縣應該分到軍馬，用於農耕，促進生產的發展，增加百姓的收入。第六，流通貨財。要廣泛地開源節流，增加收入。第七，懲治奸宄。由於各地方州縣的盜賊很多，應於各州縣編制裡甲，使之互相監督，對犯罪的人予以懲治。虞謙對皇帝直言上書，陳詞尖銳，每次都能擊中要害，由此激怒了仁宗，仁宗說他言詞過於偏激，小題大作了。禮部尚書呂震、都御史劉觀等人認為，向皇上獻殷勤的機會到了，為了討好皇上，便上書劾奏虞謙。

在呂震、劉觀等人的挑撥下，仁宗更加生氣，將虞謙降職為少卿，他朝參的資格也被免去。從此，上言陳述時政弊端的人就不多了。在上奏前，曾經有的大臣建議，虞謙應秘密陳述於皇上，不應在上朝的群臣面前公開上奏，免得皇帝的尊嚴受損。當時，大理寺屬官楊時習就勸過他，這個勸告沒有被虞謙採納，他仍堅持公開上言，結果皇帝給他降職的懲處，而勸阻虞謙公開上言的楊時習，卻被皇上提升為大理寺卿。

此後不久，楊士奇因事上奏，但之後卻沒有立即退朝。仁宗便問：“你還有什麼想要說的嗎？莫非是為虞謙的事情嗎？”士奇非常鎮定，不慌不忙地為虞謙申辯道：“虞謙歷經三朝，深懂大臣之禮，往日政績顯赫，今日所犯的過錯甚微，皇上不應給予他如此重的處罰。”士奇又請仁宗降敕引過，仁宗聽了楊士奇的話後說道：“我也後悔啊！”之後，虞謙被仁宗恢復官職為大理寺卿，但朝參的資格仍未恢復。

虞謙雖被恢復官職，但不能參與朝政，為此，楊士奇又繼續上疏說：“如今各地前來朝拜的大臣都在，豈能都知道虞謙的過失！此事如果張揚傳播出去，有人會說皇帝不能採納直言，此事可就大了。”仁宗聽了楊士奇的話，恍然大悟，說：“這都是呂震誤了朕。上言朕是支援的，只是謙所言過激了。你可以將朕所說的話傳告天下人士。”士奇回答說：“此事並不是臣等不能傳告天下，只是臣認為應以璽書廣佈天下。”於是，仁宗命士奇代為起草敕書，承認自己的過失，並命令百官群臣不要為虞謙之事而擔心，應繼續直言上書。他在敕書中說：“前幾天大理少卿虞謙上書陳述當時朝政大事時，言詞過於偏激，但多為實事，朕當時有些接受不了。群臣中有的為了討好皇上，交章劾奏，請求把他繩之以法，朕沒有聽從，仍然恢復他的原職，但還是不讓他上朝參奏。此後，上朝進言的人日益減少，難道他們真的認為國家無事可言嗎？朕在對待虞謙上書之事的處理上，一時不能容忍，事後何嘗不悔恨自己啊！今後文武群臣，只要是對國家社會有利的事情，都要及時上書，向朕陳述，對於當前政令執行不當、積弊已久的事情，也要及時直言，千萬不要因虞謙的例子而回避朕啊！以後，我們君臣要相互共議國政，今允許虞謙參與朝奏如舊。”

仁宗在楊士奇的直言勸諫下，免去對虞謙的處罰，恢復了他的官職，並允許他參與朝奏，又引以為戒，下罪己詔告諭文武百官。不久，虞謙被封為副都御史，前往四川負責停止採木之役。臨行前，虞謙被仁宗親自召見說：“你平常一向清廉正直，幫助朕前往四川處理擾民之役，不要猜疑和害怕。”

仁宗一向以納直言來標榜自己，實際上他是厭惡群臣的直言上諫的，並時時予以折辱。在對虞謙的處理上，由於楊士奇等重臣的極力勸說，表面上引過自咎，實際上在內心深處他還是憎恨、討厭別人對自己的指斥。

虞謙被他派到四川辦事，等於是明升暗降，實際也是一種變相處罰。這也體現了仁宗虛偽的一面。