林砺儒1889年7月18日出生于一个书香世家。高祖林汉源是清朝贡生，祖父林兆蓉是举人，父亲林达是秀才，因鼠疫早卒。大伯父出鸿是廪生，二伯父林迁是监生，叔父林适、堂兄林绳武均系优贡，被选入广雅书院学习。林砺儒四岁丧父，母患癫痫，靠祖母养大，而培养教育则全赖伯父林鸿和叔父林适。林适是个教师，颇有学问，且善书法，外出教学时总把砺儒携于身边，让他自幼受诗书熏陶。林砺儒长到入学年龄，伯父林鸿便聘了一位家庭教师来教他，并经常检查他的学习情况，对他要求十分严格。1905年，林砺儒进高州高郡中学堂读书。他学习十分勤奋，各种各样的书都读，曾积劳成疾吐过几次血。1911年，他以优异成绩毕业，即应信宜县中义学堂之聘到该校任教，同年又参加公费留学日本的考试，选报了东京高等师范学校，抱定了终身服务教育的决心。
1918年3月，林砺儒从日本回国，次年4月，到国立北京高等师范大学（后改名北京师范大学）任教授，担任心理学和教育学课程。同年，五四运动爆发了。他支持学生运动，帮助学生办平民学校，办识字班。他对学生说：“教育家要培养进步的人格，以适应进步的社会！”
北京高等师范学校附属中学，前身是北京五城学堂，是我国最早的一所公立中学。成为高师附中之后，本应“更有条件负起中学教育开路先锋的重任”，然而由于领导思想守旧，问题很多，师生意见很大，经常发生学潮，以致成为少有人敢问津的地方。为了整顿附中，办好附中，北京高师负责人拟派林砺儒兼任附中主任（校长）。1922年9月，林砺儒正式就职。在就职演说中，他指出：“中学教育是全人格教育，其基本任务是文化教育，是人们需要的普通文化修养的最高水平。”他试行“六三三”学制，将原来小学七年、中学四年改为小学六年，初、高中各三年。为了适应新学制，他组织教员制订规章制度和教学计划，编写教材，自己草拟，自己试行，自己修订，因而形成了一种勇敢负责的风气。同时，对校风学风进行全面整顿，提倡“师生互相亲爱，互相协助”。针对过去教育脱离实际的做法，他提出教育应以生活为主，培养学生发现问题、解决问题的能力，并重视给学生以系统的科学知识，在高中增设了第二外国语、解析几何、微积分初步、初等力学、电磁学、分析化学等课程，同时，展开全校普及体育。此外，他还聘任了一批有学识、有改革精神的新教员。经过这一系列的努力，高师附中风气好转，质量提高，成为一所全国仰慕的学校。在担任高师附中主任期间，他于1922年和1925年两次向当时的国会提出教育法草案，想为教育事业争得宪法上的保障，但都没有得到结果。
1928年，北京师范大学并入北平大学，改称第一师范学院，林砺儒任临时院务委员会主席。他着手对第一师范学院进行改革，增设了社会系，支持师生参加社会上的进步活动。他的这些做法不为当局所容忍。到1931年，国民党教育部决定对第一师范学院严加整顿，停止招生一年，并解除了林砺儒的职务，派来了新校长。林砺儒愤然离开第一师范学院，南下广州，在中山大学任教授兼教务长。1932年7月，他接受广州市政府的聘请，兼任广州师范学校校长。
1933年，广东省政府为纪念古应芬（字勷勤），创办勷勤大学，林砺儒应邀参加筹办工作。该大学成立后，由当时广东省主席林云陔兼校长，他任教务长兼教育学院院长。1937年，勷勤大学教育学院独立为广东省立教育学院，后又改为广东省立文理学院，他继续担任院长。以这间学院为基地，他更放手地进行教育改革。在课程设置上，他打破常规，增添了一批公共必修课，如“新哲学”、“经济学”、“现代经济学说史”、“国际政治”、“世界革命史”等；先后聘请了一批进步教授，如张栗原、蒋径三、李平心、高觉敷、陈守实等到校执教，还邀请著名民主人士邹韬奋、钱俊瑞、杨东莼等到校作形势报告。他提倡思想自由，学术研究自由，学生可以组织各种社团，探讨各种问题。他还带领师生下乡进行抗日宣传，开展抗日救亡活动。
1941年5月，国民党当局下令，改组文理学院，免去林砺儒的职务。消息传开，全校震怒。师生们自发成立了“挽林委员会”，召开声势浩大的挽林大会，派出教师代表团前往韶关向省政府请愿，要求省政府收回成命，并通电全国。学生们还集体创作了《挽林战歌》：风已来了，雨也来了！
我们学校在风雨中飘摇，
我们的生活在风雨中震荡。
我亲爱的同学们，团结起来！
我们的生活在风雨中震荡。
我亲爱的同学们，团结起来，
挺起我们的胸膛，
放大我们的眼光，
我们坚决挽留林院长！
林院长是教育界的明灯，
林院长是青年们的保姆，
八个年头，一贯作风，
探索真理，追求光明。
我亲爱的同学们，团结起来！
挺起我们的胸膛，
放大我们的目光，
我们坚决挽留林院长！
面对这场学潮，国民党反动派十分恐慌，派去接替林砺儒职务的人也不敢上任。当局便采取高压政策，逮捕、开除了不少学生。但师生们毫不畏惧，坚持斗争达两个多月。
1941年10月，林砺儒来到桂林，担任广西教育研究所导师；次年4月，改任国立桂林师范学院教授兼教务长。他自知已受国民党特务机关的密切注意，再轰轰烈烈地干一番事业是不可能了，于是他改变了方式，以著书立说的形式，继续宣传教育改革的主张。从1941年到1945年，他相继发表了一系列文章：《怎样做中学校长》、《精神剃须论》、《中国民族解放运动与国民教育》、《五四运动的评价》、《八·二七路线》、《儿童保育与人性改造》、《养士》等。在《精神剃须论》中，他指出：指导青年，“一不是靠权威部勒，二不是凭笼络操纵”，而必须了解青年，和他们做真诚的朋友，共同参加社会实践。这篇文章在《文化杂志》刊登后，刺痛了国民党当局某些人，致使《文化杂志》被迫停刊。在《八·二七路线》中，他继续宣扬学术自由，求真理，明是非，认为学生要尊师，但对教师的学说、教义可以怀疑批判。他的这些言论，引起国民党当局的不满，特务多次用匿名信对他进行恐吓，但他置之不理。1944年，他写成《教育哲学》一书。
抗日战争胜利后，国民党大搞独裁，发动内战。林砺儒再也坐不住了，投身到民主运动中去。1946年，他不顾国民党特务恐吓，毅然加入民主同盟。国民党反动派为了控制桂林师范学院，决定将该学院迁往南宁，并撤换了院长，林砺儒愤然辞职。这时，他身患肾炎，便回广州治病，1947年8月到厦门大学任教授。
1949年4月，林砺儒离开厦门大学，取道香港赴北京参加新政治协商会议筹备工作和第一届全体会议，当选为政协第一届全国委员会委员。接着，他又担任了中央人民政府教育部中等教育司司长兼北京师范大学校长；1952年起任教育部副部长。此外，他还当选为一、二、三届全国人大代表。面对着百废待兴的新中国教育事业，他以忘我的精神投入工作，先后主持起草了《中学暂行规程》草案和《师范学校暂行规程》草案，并就少年儿童教育、中学教育、民族教育等问题进行了一系列调查研究，写下了《中等教育的两个问题》、《了解少年儿童是教育工作的先决条件》、《教因材施，才也由教成》等论文，提出从中国的实际出发办好教育的主张。1957年11月，林砺儒代表我国政府，与越南民主共和国政府签订了《关于越南在中国设立学校的议定书》。1959年，他率领中国教育代表团赴越南民主共和国参观访问。
1961年，年逾古稀的林砺儒患食道癌刚愈，便率领一个工作组奔赴吉林，就师范学校的学制及教学计划等问题进行调查研究。1963年，他连续参加了天津中小学办学经验座谈会和云南民族教育工作会议，会后又深入云南、广西等地调查研究。在这段时间，他还撰写了《师范教育问题随笔》、《语文教师是经师，也是人师》、《怎样对待学校考试》等文，提出不少新见解。如在《怎样对待学校考试》中，他指出：“人生遇事要做，遇问题就要解决，所凭借的只是自己所有的知识才能。人生正是这样活到老、学到老、考到老至死方休的过程，原非可怕。怕考试几乎等于怕生活，从来未闻有人怕生活的，而学校的学生则大多数怕考试，其原因何在，值得深思。跃跃欲试，原是有能者的常情，而学校竟把考试变成学生的畏途，其故安在？为人师者应深自反省。”但由于历史原因，林砺儒的这些探讨未能继续进行下去。
1977年1月20日，林砺儒因患胃癌，医治无效，在北京与世长辞，享年88岁。
林砺儒逝世后，家人检点遗箧，发现了他于1973年10月15日在笔记本上写下的一副“自拟挽联”：
服官自笑立仗马
遗稿尚无封禅诗
他的儿子林颖夫将这副“自挽联”拿给叶圣陶先生看，叶老感慨地说：“恰如其人！”可见他的人生之伟大。
