1661年(清順治十八年)，于成龍被任命為羅城縣知縣，在任上明確保甲制度，百姓安居樂業，全力耕作土地。1667年(清康熙六年)，于成龍升任四川合州知州。後遷任湖廣黃岡的知州，歷任代理武昌知府，福建按察使，布政使、巡撫和總督、加兵部尚書、大學士等職。康熙二十年入京覲見。後升任江南江西總督。

于成龍在20餘年的宦海生涯中，三次被舉"卓異"，以卓著的政績和廉潔刻苦的一生，深得百姓愛戴，被康熙帝讚譽。

康熙十八年(1678年)，于成龍升湖廣下江陸道道員，駐地湖北新州(今新洲縣)，在湖北期間，儘管地位和環境都有很大改善，但他仍保持了異於常人的艱苦生活作風。

康熙十七年(1678年)，于成龍升福建按察使。未逾兩年，又出任為總制兩江總督。

康熙二十三年(1684年)農曆四月十八日，于成龍終於走到了人生的最後關頭，終年六十八歲。

于成龍去世時木箱中只有一套官服，別無餘物，市民痛哭，塑建雕像祭祀，諡號清瑞。

于成龍逝世後，南京男女老幼，商販僧侶皆痛哭流涕，可見中下層人民對他的死是十分悲痛的。康熙帝破例親為撰寫碑文，這是對他廉潔刻苦一生的表彰。