1953年，祖国大规模的经济建设开始了。全国各地有大量干部被调往工业战线。焦裕禄也是其中一位，他从农村来到了洛阳，在洛阳矿山机器厂担任筹建处资料办公室副组长，他为了加快工程进度，认真帮助解决工程中出现的问题，严格检查工程质量，甚至有时忙得都顾不上回家，吃住都在工地。
1962年冬天，豫东兰考县遭受内涝、风沙、盐碱“三害”最严重的时刻，焦裕禄受党的委派来到了兰考县。面对重重困难，焦裕禄无所畏惧。在全县干部会上，他坚定地说：“我们对兰考的一草一木都是有感情的。面对当前严重的自然灾害，我们要有革命的胆略，坚决领导全县人民，苦战到底，一定要改变兰考的面貌。”
焦裕禄同志坚定的革命意志和乐观主义精神，感染了县委领导班子的全体成员，感染了全县的党员、干部和群众。在他的带领下，兰考全县，干部群众上下一心，群策群力，苦干实干，把先进的科学技术与人民群众的土法经验相结合，大打防风、治沙、排碱，改善生态环境的人民战争。他们栽植泡桐树，堵截风沙源；开挖排水渠，治理盐碱地。焦裕禄同志更是以身作则，深入生产第一线，与广大人民群众同甘苦，共患难。他亲自带头种植泡桐树，亲自考察风沙源头，亲手挥锹开挖排碱沟渠。曾多次累倒在工地。在全县人民的共同努力下，兰考县种植出了一片浩瀚的桐林，风沙和盐碱地得到了有效的治理，兰考人民的生产和生活环境得到了极大的改善。
更加雪上加霜，但他仍然忘我地抱病工作，从不懈怠。
他家里人口较多，生活负担重，但他从不因个人问题向组织伸手。有些同志实在看不下去，就商量着给他一些补助，可是焦裕禄却坚持拒绝。他说：“兰考是个重灾县，人民的生产、生活都很困难，我们应该首先想到他们。要把这些钱用到改变兰考面貌的伟大事业上去，用到改善兰考人民的生活上去。”焦裕禄高风亮节感动了所有人，他们骄人的工作成绩为美化兰考大地，改变灾区面貌奠定了一个良好的基础。
焦裕禄同志不但严于律己，也严格要求自己的子女，叫他们穿着要简朴，生活要节俭，哪里有困难，都应该义无反顾地去帮助那些困难的人。有一次，焦裕禄发现大儿子去看戏了，就问他戏票是从哪里来的，孩子说：“检票叔叔问我要票，我说没有。然后他问我是谁，我就告诉他焦书记是我爸爸，他就没有收票让我进去了。”焦裕禄听了非常生气，当即把一家人叫来“训”了一顿，命令孩子立即把票钱如数送给戏院。
为了严格管理干部作风，他还专门起草过一个《干部十不准》的文件，里面规定任何干部不得搞特殊，要严格按照规章办事。焦裕禄把职位看做是为人民服务的岗位，把职权看做是受人民的委托，坚持要为人民掌权。这是一个共产党员无私的崇高革命精神的表现。
他为了党和人民的事业鞠躬尽瘁，被誉为“县委书记的好榜样”。
