于成龙至罗城县，居民仅六家。县衙草屋三间，在丛林之间，猛虎白昼悠悠然行于庭中。于成龙“插棘为门”“累土为几”，招吏民百姓从容问其疾苦，百姓“皆感公至诚，益乐就之”（《清稗类钞》册三，1223页）。“成龙扶病理事，立意修善……凡有陋弊，清察厘革。”（《与友人荆雪涛书》）后诸仆死逃殆尽，于成龙“万里一身，生死莫主。夜枕刀卧，床头树一枪以自防”（引文同上）。昼夜所念者，“为民兴利除害”而已。他竭精殚力，肃清匪盗，数年，罗城大治。徭民安居，“不敢复犯界，数遣子女问安。每春时，命两徭舁竹舆，行田野中，见力耕者，辄呼与语，相劳苦。民率妇子罗拜，或坐树下与饮食笑语，欢如家人”（《新世说·政事》）。于成龙之“诚意恻恻感人”。百姓将田赋亲输其手，或留数钱置案上，成龙问其意，民人答曰：阿耶不要火耗，不谋衣食，宁酒而不买乎？于成龙感其意之诚，留数钱仅够沽一壶酒而已。
罗城民众怜悯于成龙独身一人，滞留南疆，每晨夕时时环集问安，并叹其度日过于清苦，间敛些微金钱跪进，此举只供些微盐米生活费而已。于成龙微笑答谢：“我一人何须如许物，可持归易甘旨奉汝父母，如我受也。”民众皆怏怏持去。当罗城民众得知他家人自北方来探视时，为之大喜，“奔哗庭中”，言于公家人来，“好将物安家去”，又馈赠金钱，于成龙含笑答谢说：“此去吾家六千里，单人携货，适为累耳。”挥手令去，民皆伏地饮泣，于成龙亦为之泣。
于成龙在罗城，招抚流民，尽除诸禁，多有革新，总督卢兴祖等言：“罗城在深山之间，瑶、玲顽悍，成龙洁己爱民，建学宫，创养济院，任事练达，堪列卓异。”于成龙在《与友人荆雪涛书》中回顾罗城七载生涯时说，数年以来，并非为追逐功名，只求生还故乡。“日二食或一食，读书堂上，坐睡堂上，首足赤露，无复官长礼。夜以四钱沽酒一壶，无下酒物，快读唐诗，痛哭流涕，并不知杯中之为酒为泪也！”其苦可知，其情可想。因于成龙治绩斐然，康熙六年晋升为四川合州知府。他辞别罗城时，父老遮道呼号：“耶今去，我侪无天矣！”
竟追送数里，痛哭而返，惟一盲者未去，问其故，盲者说，下民通星相占卜，料公囊中盘费必不敷千里之用，届时下民薄技可为公作川资之用。于成龙感其真诚，允其相随。后果值淫雨连绵，盘费用尽，竟赖盲者之力得以到达合州。（见《大观》）
由知府到巡抚
于成龙上任四川合州知府，川中大乱后，州中遗民仅百余，正赋仅十五两，而徭役征调繁重。成龙大力改革宿弊，招民垦田，贷给牛种，不到一月，增至千户。不久迁湖广黄冈同知，黄冈盗贼纵横，白昼行劫。成龙善治盗，张某久为黄州盗魁，横行一州。成龙化名杨二，微服佣其家，得张爱信，尽悉贼情，后一举擒获张某，并利用此盗魁尽获州内其余群盗，州内肃清。成龙在黄州任上，“尝微行村堡，周访闾里情伪，遇盗及他疑狱，辄踪迹得之，民惊服。”（《清史稿》卷277）时湖北巡抚张朝珍以卓异荐举于成龙。
康熙十四年秋，黄州大饥，于成龙及时赈济，“全活数万人”。翌年，又适岁饥，讹言四起，人心惶恐。“成龙修治赤壁亭榭，日与僚吏啸咏其中，民心大定。”（《清史稿》）十六年，任江防道员，十七年升任福建按察使。于成龙离黄州赴福建时，“民遮送至九江，凡数万人，哭声与江潮相乱。”得民心如此，古史罕见。轻舟将发之际，成龙命从人买萝卜数石，有人笑谓此贱物，何必买如此之多，回答说：“我沿途供馔赖此矣。”数石萝卜伴成龙，千里迢迢至榕城。于成龙任福建按察使时，因郑成功抗清事，泉州，漳州诸郡“民以通海获罪，株连数千人，狱成，当骈诛。”于成龙知其冤，力主开释，后悉得免。其治狱“判决明允，狱无淹滞。”时军中多掠良民子女为奴婢，于成龙集资尽赎归之。时清兵驻福建，每月征役夫数万人，民众怨声载道。于成龙力陈其弊，得上司允诺，尽罢之。康熙十八年九月，福建巡抚吴兴祚等言：“成龙执法决狱，不徇情面，屡伸冤抑，案牍无停，不滥准一词，不轻差一役，而刁讼风息，扰害弊除。捐增监狱口粮，遍济病囚医药。倡赎被掠良民子女数百口，资给路费遣回。屏绝所属馈送。性甘淡泊，吏畏民怀，为闽省廉能第一。”（《清史列传》
卷八）康熙皇帝予以褒扬：“于成龙清介自持，才能素著，允称卓异。”是月晋升为福建布政使。
十九年二月于成龙迁直隶巡抚（直隶不设总督），下令严禁州县在赋税正款外勒索民众，馈赠上官。并严惩“反噬挟制”上官的不法县官。他上任后，为宣府等灾区民众“豁免钱粮。”十一月间，宣府东西二城，在二十多天里，饿死数十人。于成龙上疏：“伏思平粜粮石，止救稍能措籴之民，而不能救囊无一钱，僵卧待毙之民。”如再上疏请旨，须时一月，此一月之内不知将饿死多少贫苦人民。在未得朝廷旨意之前，他甘冒风险，当即决定委托保定府同知何如玉等驰赴重灾区，动支平价粮食。“确察饥困不能谋生穷民，每口赈给二升。”救活饥民无数。
康熙二十年正月，于成龙进京陛见，得到康熙皇帝的高度赞誉：“尔为今时清官第一，殊属难得！”当问到他在黄州招抚叛贼何以马到成功时，于成龙回奏道：“臣惟宣布皇上威德，未有他能。”谦退谨慎，十分得体。于成龙所荐所劾者均与康熙心意相合。他勉励于成龙：“为政之道，当知大体，小聪小察，不足为多。且人贵始终一节，尔其勉之！”康熙皇帝对廷臣说：“于成龙起家外吏，即以廉明著闻。荐陟巡抚，益励清操。凡在亲戚交游相请托者，概行峻拒。
所属人员并亲友，间有馈遗，一介不取，朕甚嘉之！知其家计凉薄，特赐内帑银一千两，朕亲乘良马一匹。以示鼓励。”（《清史列传》卷八）于成龙体察民间疾苦，多次如实奏报灾情，恳请蠲免钱粮，赈济灾荒。康熙皇帝无不应允，以示支持。年底，特旨授于成龙江南江西总督。于成龙善于发现人才，赴江宁任前，推荐通州知府于成龙（称小于成龙，字振甲，汉军镶黄旗人）。不久，康熙皇帝任命小于成龙为江宁知府，后升直隶巡抚，河道总督，成为康熙所倚重的一代名臣。
江南江西总督
康熙二十年（公元1681年），三藩之乱已经平定，康熙皇帝力图恢复生产，安定社会秩序。他曾说过：“江南最为重地，此处必用才德优长之人，始能胜任。”（《康熙起居注》二十三年五月初一）于成龙受命为总督，时年已六十五岁。他感激皇上知遇之恩，益励前操，力图报效。于成龙受命之日，即自直隶启程，直赴江宁。与幼子租驴车一辆，各袖钱数十文，自投旅舍。从未烦扰沿途府州县国家公馆。将抵江宁时，官吏畏其严明，出城远迎，至黄昏时犹不见人影，正在惊疑打探之际，逻卒来报，新总督早已单车入府了。
于成龙断然拒绝居住为他装修一新的府第，拒受礼品，谢绝接风洗尘之宴会。熟人婉言：如过于“清严”，“则上下之情不通”。于成龙笑说，赠我美酒，不如擒获此地大盗鱼壳为我礼品。按察使即募名捕雷翠亭化装侦得并捕获鱼壳，斩于西市，江宁为之震动。
于成龙就任两江总督，根据江南：“剥削小民而莫之恤，因循陋规而莫之除”的多年积弊，颁发《兴利除弊条约》，要求各级官吏将此诸种积弊，“尽行痛革。”违者严惩：严禁火耗（正赋外的加派）。禁止私派（巧立名目的各种摊派）访拿衙蠹（贪赃吏役）。访拿光棍（地方恶棍）。禁止问刑迟延。严禁借旗放债（旗人放高利贷）。严禁滥差（滥差衙役四处扰民）。严禁滥收（随意捕人下狱）。严禁捕役非刑私拷。严禁讼师（讼棍）。禁止取用行户（勒索商户）。
禁止奢靡佚游。于成龙在条约中郑重声明：“本部院下车清介自持，誓不受属员一毫馈送。”（引自上海古籍出版社影印《四库全书》第1318册，737~742页《于清端政书》）条约文字剀切严明，条条切中时弊，直令贪官污吏心惊胆战，劳苦大众额手称庆。条约颁下，“官吏望风改操，知公好微行，遇白髯伟貌者，群相指震慑。士民有欢笑，无管弦，游惰不空手，柜坊无锁。”（见《大观》）社会风气竟为之一变。
于成龙总督江南，益愈勤奋，兢兢业业，严诫属吏，“革加派，剔积弊，治事尝至达旦。”他虽身为封疆大吏，但喜接近民众，了解下情，绝少官僚习气。于成龙躬行实践，“喜微行，察知民间疾苦，属吏贤不肖。自奉简陋，日惟以粗粝蔬菜自给。”（《清史稿》卷二七七）每天只食用粗米、青菜，江南人称他“于青菜”。遇灾荒之年，“屑糠杂米为粥，举家食之。”并以此招待客人。并说“如法行之，可留余米赈饥民也。”于成龙仆人无处得茶，则日采衙后槐叶当茶用，树竟为之秃。家风清白，诸子亦承父风，冬天穿粗布棉衣，从未制裘皮袍褂。
总督于成龙严惩贪污，倡节俭清廉之风，在江南引起震动。“江南俗侈丽，相率易布衣。”官僚士大夫家削减舆从，婚嫁不用鼓乐，地方豪强大猾率家远遁。“居数月，政化大行。”孔子提倡的“其身正，不令而行”在于成龙身上得到了验证。
像于成龙这样的清官，也有人以假言劾奏，欲令其休致。因他在江南“势家惧其不利，构蜚语。”（《清史稿》卷二七七）触犯了当权人物。明珠秉政，时与于成龙相忤。致有康熙二十二年，副都御史马世济督造漕船还京，上疏弹劾于成龙，“闻其自任用中军田万候之后，人多怨言。”“其年近古稀，景迫桑榆，道路啧啧，咸谓田万候欺督臣，倚势作弊……督臣衰暮，不能精察，故匪人得以播弄而败善政。”“请罢黜田万候，并令成龙休致。”（《清史列传》卷八）但康熙皇帝对于成龙是信赖的，特命其继续留任。二十三年又兼署江苏、安徽两省巡抚。
于成龙晚年，政务繁剧，又时闻流言蜚语。时熊赐履罢相居江宁，于成龙过访其宅，坐梧桐树下，倾吐其忧谗畏讥之意。赐履慰之曰：“丈夫勘得透时，虽生死不可易，何况其他！”其明年，于成龙上疏乞休，康熙弗许，再访赐履时深有忧色。赐履厉声曰：“遂忘梧桐树下语邪！”（见《大观》）于成龙虽蒙康熙皇帝奖掖，称赏，但权势之家的流言，及马世济莫许有的参奏，使他精神上蒙受着沉重的压力。遂于四月十八日，溘然长逝。享年六十八岁。
