戊戌变法时期，张謇参与创办了京师大学堂。他还为刘珅一起草了《变法平议》，在他的心目中形成了创建初、高等两级小学以及中学的设想。张謇深知普及国民教育，培育人才需要从小学开始，然而没有师资力量，就不可能兴办小学。教育要构成一个体系：师范--小学-一中学--高等专科--大学校，还要有职业学校和技校相辅助。
早在1901年，张謇就极力鼓动两江总督刘珅一兴办新式学校，建议先兴办师范学校，然而张謇却失望而回。张謇决定回到通州自己兴办师范学校。
1902年8月，张謇在通州千佛寺兴办了通州师范学校。1903年4月27日通州师范学校正式举行了开学典礼。张謇聘请了著名的学者王国维当教师，那时候清政府已经废除了科举考试，所以报考的人非常多。
张謇为了给女子创造就学的机会，兴办了女子师范学校。张謇十分重视师范教育，觉得它是提高国民素质的前提。
自1903年开办南通师范学校起，张謇在通州地区依次开设了大学一所、专科六所、师范三所、中学若干所、小学三百一十五所，培养了许多人才，使得通州的文化教育水平一跃成为全国第一。
张謇还积极从事通州地区的文化、卫生、慈善事业，他除了1905年开设了通州博物苑以外，1912年还开设南通图书馆和南通医院，1906年又创办了育婴堂，1913年创办了养老院。
张謇强调在教育中多向学生教授实业知识，使学生成为有用之才。在办学中，张謇广泛开辟实业方面的专科，他还陆续开办了上海吴淞商船学校、铁路学校等等，培育了大批中等专业人才。
为了源源不断地给民族纺织业输送优秀人才，1912年，张謇出巨资创办南通纺织专科学校。他还从大生纱厂里挑选了一些有上进心的青年来校深造，为大生纱厂的发展注入新鲜血液。
张謇借助自己的地位和声望，替一些著名学校的创办大声疾呼，给予了很大的支持与扶助。比如复旦学院、震旦学校、中国公学等等，张謇都为之倾注了满腔心血。由于张謇对于中国现代教育事业的巨大贡献，被选为江苏教育会会长以及中央教育会会长。
张謇将实业与教育看成是强国之本，认为："以国家之强，本于自治；自治之本，在实业、教育；而弥缝其不及者，惟赖慈善。"
