在张之洞赴任山西之前，曾是一名清流名士。当时京师活跃着一班以清高博雅自重、以指弹时政为任的士大夫，他们多有声望地位而无实权实责，常常秉书直言，令权臣不悦，也令皇上和两宫太后下不来台。时人称之为“清流党”。张之洞在洋务运动大兴之时，跻身清流派，是由其经历、学识、性格所决定的。
清流党人张之洞勇于上书直言，敢于为民请命，对于东乡冤狱之昭雪天下起了重要作用。在维护国家权益方面，他也据理力争以减小国家损失。过去，沙俄对我国西部边疆早已有觊觎之心。同治十年（公元1871年），新疆发生回民叛乱，沙俄趁新疆动乱之时，拉拢阿古柏，并出兵占领伊犁九城地区。平息叛乱后，沙俄拒不归还伊犁，清廷派崇厚出使沙俄谈判归还伊犁问题。崇厚在沙俄的压迫和愚弄下，签订了丧权辱国的《里瓦几亚条约》。消息传出，舆论哗然。张之洞在一年多的时间内为中俄条约问题向朝廷上疏二十余次。后来由曾国藩之子曾纪泽出使俄国而改签的《中俄伊犁条约》挽回了部分权益。张之洞的多次上疏在一定程度上起了重要作用。
光绪七年（公元1881年）末，张之洞被补受山西巡抚，成为实权在握的封疆大臣，从此开始了他政治生涯的新阶段。这也是他向洋务官僚转化的开端。山西地近北陲，形势闭锁，素称贫瘠，清政府被迫开关通商之后，大批洋货涌入中国市场。物美价廉的洋货的冲击，使历史悠久的山西手工纺织业、土铁冶炼业和土窖煤炭业日渐萎缩。光绪三年（公元1877年）至四年（公元1878年），山西全境发生大旱，赤地千里，而吏治腐败、贿赂公行、民生凋敝也达到极点。张之洞此时出任山西，可以说受命于危难之际。
到任不久，他制定出“治晋方略”，该“方略”以去除病根、培养元气、表里兼治为主，在山西实行两年半，业绩果然显著。
张之洞治晋的第一步就是整肃吏治，他明察暗访，查证落实，惩处了一批“私加厘金、剥商扰民”、“习染最恶，惩收弊混”的知州、知县。他还发现山西财政竟然33年从未清查过。他设立清源局，调清正廉洁的马丕瑶为主事，自任监督，设会计、拨款、筹防、报销、善后、交待、裁摊、工程八大类，分别清查。经过一年多的艰苦工作，终于完成了清查计划。他还在盘清库存的基础上，制订了诸多财政措施，对徭役这一苛政也进行了裁减。鸦片，是西方资本主义殖民者用以撬开中国国门的工具。山西历来烟患严重。张之洞严禁烟毒，他制订了具体实施方针，对禁办有功者，明令表彰；惩办不力者，“摘去顶戴”。
张之洞在抚晋期间，深受李提摩太（英国浸礼会教士）影响，思想渐渐转向洋务。李提摩太向各官绅学士演讲天文、地理、医药卫生、声光、电化等西方近代科学知识，还向张之洞单独讲解“别西墨炼钢法”。与李的接触，使张之洞对“西技”、“西艺”开始有了初步认识。光绪九年（公元1883年），他在省垣东门内新买金姓房屋，设立洋务局，试造新式机器。他对新式洋枪洋炮装备军队的必要性毫不怀疑。他编练新军的努力也从此发端。发展交通，也是他任晋期间的重要业绩，他组织民工伐木焚草、拓宽路面、削平险阻，打开了北向、东向的两条通道。
