冯玉祥通过在察哈尔组织武装抗日活动，进一步了解了人民群众的力量，加深了对共产党的认识与好感，同时也感到自己知道的东西太少，有了加强学习、进一步掌握正确理论和方法的紧迫感。所以，他回到泰山后，又再一次开始如饥似渴地阅读各种进步书籍，聘请教育界知名人士如李达、陶行知、许德珩等为自己讲解各类学科知识。他在自己的居室内题刻了“救民安有息肩日，革命方为绝顶人”的诗句，时时激励自己不要懈怠救国救民之志。
冯玉祥不仅自己学习，还带动和引导过去的旧部、二十九军长宋哲元等人接受进步思想，增强了二十九军的抗日情绪，并为中国共产党深入二十九军做抗日将士的工作创造了条件。1935年，当蒋介石借追击红军长征部队进入四川，企图剥夺吞并四川军阀刘湘的势力，以扩充自己的力量时，冯玉祥立即派人前往四川与刘湘恳谈，劝刘湘不要与蒋介石合作剿共，而应向共产党靠拢，和共产党交朋友，积极抗日。冯玉祥的这些工作在一定程度上促进了刘湘的反蒋和抗日。
1935年，中国共产党提出了“停止内战，共同抗日”的正确主张，将全国的抗日救亡运动进一步推向高潮。蒋介石政府迫于全国抗日呼声日高的压力，不得不做出姿态，发电报邀请主战的冯玉祥出山去南京，共商大计。为团结南京政府内部及社会各阶层的抗日力量，使南京政府不致于完全陷入妥协不抵抗的泥潭，1935年10月30日，冯玉祥再次离开泰山南下。12月抵达南京，出席了国民党六中全会，被选为中央执行委员，并担任军事委员会副委员长。他在南京四处奔走，积极向国民党军政人员做工作，多次发表讲演，呼吁停止内战，一致对外。
这一时期，抗日救亡运动已遍及全国，而以北平、天津为中心的华北地区尤为激烈。冯玉祥屡次写信并派人勉励驻扎华北地区的宋哲元、韩复榘等人不要被日本人所引诱和吓倒，要支持人民大众的爱国运动。宋哲元等人在他的鼓励下，为抗日作了不少有益的工作，如派北平市长秦德纯同北平各院校的教授们每月举行聚会，共同讨论如何支持和维护青年学生的抗日救国运动。与此同时，冯玉祥在南京也积极与宋庆龄、何香凝、沈钧儒等著名民主人士取得联系，多方营救被拘捕的青年学生和进步人士。1936年11月，著名的七君子沈钧儒、章乃器、王造时、李公朴、史良、邹韬奋、沙千里因宣传抗日被蒋介石下令逮捕入狱后，冯玉祥竭力参予营救，亲自致电蒋介石为七君子的抗日行为辩护。他还曾派部下石敬亭到北平释放被捕的学生，并向谷正伦提出要求释放在北平被捕后押解到南京的100多名爱国青年。
1936年12月12日，西安事变发生后，国民党内部以何应钦为首的亲日派企图借讨伐张学良、杨虎城的机会，轰炸西安，除掉蒋介石，由亲日派掌握政权，执行彻底的投降政策。冯玉祥识破了何应钦等人的阴谋，冒着被暗杀的危险，与亲日派作了坚决的斗争，为西安事变的和平解决，作了积极的努力。西安事变和平解决后，冯玉祥积极响应中共关于建立广泛的抗日民族统一战线的号召，在国民党的三中全会上，与宋庆龄、何香凝等13人共同提出《恢复孙中山先生手订联俄、联共、拥护农工三大政策团结御侮案》。可汪精卫等人却提出了一个坚持“剿共”的反对决议案。经过针锋相对的斗争，冯玉祥等人的提案被通过，蒋介石被迫接受联共抗日的主张。至此，国民党政府逐步转向抗日方面，由中共领导的全国抗日民族统一战线初步形成。冯玉祥为统一战线的建立做出了重要贡献。
1937年7月7日的“芦沟桥事变”拉开了日本侵略者向中国全面进攻的序幕，抗日战争全面爆发。8月15日，冯玉祥被任命为第三战区司令长官，指挥上海方向的战事，不久又改任第六战区司令长官，前往河北、山东地区，指挥宋哲元、韩复榘、刘多苓等旧部对日作战。9月，驻扎桑园、连镇一带的中国军队在日寇机械化部队及飞机大炮的进攻下，节节失利，冯玉祥亲往前线督战。他决定避开敌人的正面进攻，采取侧面袭击的办法，除留一部分队伍坚守桑园、连镇外，主力部队由铁道东侧绕攻敌后的沧州冯家口——泊头。9月30日，此计划实施，10月1日晨便占领了冯家口——泊头等地，杀敌甚众，缴获大批物资并破坏了铁路。南下的敌人大为恐慌，几乎有全被歼灭的可能。但由于蒋介石并无诚意真正抗日，更怕冯玉祥和过去的部下们重新联合起来，对自己构成威胁。所以，他不但对冯玉祥的行动多方牵制而且还派人到冯玉祥指挥的地区四处活动，挑拨破坏冯玉祥和部下的关系，散布不抵抗的论调，致使我军的进攻功亏一篑。不久，冯玉祥也被解职调回南京。
冯玉祥虽被解除了军事指挥权，但仍念念不忘前线的抗日工作，他多次写信给宋哲元、张自忠、刘汝明、冯治安等旧部，鼓励他们抗战到底。他甚至表示，只要是抗战，哪怕是具体琐事自己也愿意干。他的言行极大地鼓舞了前线将士的抗日热情。在抗日战争期间，他的旧部如佟麟阁、赵登禹、张自忠等高级将领先后以身殉国、血洒疆场，与他的激励和影响是分不开的。
冯玉祥回到南京后不久，南京政府准备迁都四川，第一步先移至武汉。蒋介石等不愿冯玉祥在他们身边宣传抗战，成为他们执行妥协不抵抗政策的障碍，便伪装出准备坚持抗战的样子，屡次委派冯玉祥前往平汉线南段以及豫西、豫东、鄂东各地视察所谓国防工事。冯玉祥沿途进行抗日宣传，动员人民群众送子弟参军抗日，发动各县收容安置从前线退下来的伤兵，甚至组织基督教会的力量来作抗日宣传及救护伤员和难民的工作。
1939年底，为出版印刷有关抗战的进步书刊，冯玉祥在武汉与共产党密切合作，创办了“三户印刷所”。“三户”之名是取“楚虽三户，亡秦必楚”的意思，表示了抗战必胜的信心。“三户印刷所”创立后，大量印刷了《列宁全集》、毛泽东的《论持久战》和《新华日报》社论的单行本等进步书刊。同时，冯玉祥还编印了《官兵爱国问答》、《学生抗战问答》、《民众抗战问答》、《国仇问答十条》等材料，用通俗易懂的语言形式激发军民的爱国主义精神。在此之前，针对当时武汉政府内投降派甚嚣尘上的求和声浪，冯玉祥不仅自己四处讲演宣传必须抗战和坚持抗战必胜的思想，还约请文艺界的进步人士创办了《抗到底》和《抗战画刊》两种刊物。他尽力帮助和收容流亡的文艺界进步人士，积极参加抗日救亡的文化宣传活动，加入了中华全国文艺抗敌协会，并独创了风格鲜明、喜笑怒骂皆成文章的“丘八诗”。
随着对蒋、汪消极抗日、积极反共真面目的逐步认识，以及抗战实践中，对共产党言行的耳濡目染，冯玉祥逐渐认识到，中国共产党才是真正救国救民的组织，因此也逐渐把坚持抗战的希望完全寄托在共产党八路军身上。对共产党的态度也从过去的反共转变为亲共、拥共。他先后派遣了一些人到延安学习，鼓励身边的随从人员到河南、山东等地组织民众抗日。三番五次地写信给当时在河北担任冀察战区司令长官的鹿钟麟等人，嘱咐他们不要受反共宣传的蛊惑，屏除成见，与八路军协商一切，共同抗日。他说，不管什么党什么派，只要是主张抗日的，就是朋友。大家唯一的敌人是日本帝国主义，不应该自己人打自己人。对于国民党投降派对共产党八路军以及苏联的种种造谣诬蔑，冯玉祥总是毫不留情地进行揭露和批驳，利用各种机会宣传八路军英勇抗日的事迹，为八路军的胜利而欢欣鼓舞；向大众公布苏联援助中国的实情，说明在国际上只有苏联是真诚可靠的。
冯玉祥抱着“对抗战大计，当说的必须说，当做的必须做”的决心，与蒋介石、汪精卫、何应钦等人妥协投降、分裂倒退的活动进行了针锋相对的斗争。
1938年10月，在一次谈话中，汪精卫问冯玉祥：“什么叫抗战到底？”冯玉祥回答说：“收复失地，不但东北四省，连台湾、琉球各省都要收回。打到倭寇投降，这就叫抗战到底。”汪精卫说“这是做梦”。冯玉祥毫不客气地怒斥说：“做梦，各人不一样：有人做梦当主人，有人做梦当奴才！”当面骂得汪精卫恼羞成怒，无地自容。
1938年10月26日，国民党政府决定放弃武汉继续西行。蒋介石在是坚持抗战还是求和妥协的问题上更加动摇不定。此时，冯玉祥正在外地检阅新兵，听消息，连忙赶赴长沙，用《三国演义》中赤壁大战前夕，孙权拔剑砍下桌子一角，警告投降派，决心与曹操决一雌雄，并最终取得胜利的故事来劝说蒋介石坚持抗战到底。
1938年12月23日，汪精卫从重庆出走，彻底走上了卖国投敌之路。冯玉祥大骂汪精卫是王八蛋，主张开除其党籍，并通缉严办。又写了《菜花黄》一诗，痛斥和鞭笞汪精卫的卖国罪行。他在诗中写道：
前方正抗战，汪贼意投降！
领袖欲太重，汉奸也愿当。
行年已半百，晚节末路忘。
只知富与贵，不替民族想。
千年万世名，精卫恶名长！
国民党迁都重庆后，蒋介石依然故我，多次掀起反共高潮，大批逮捕爱国志士，甚至连在广西工作的越南革命领袖胡志明同志也未能幸免，被抓进了监狱。这一时期冯玉祥却利用自己特殊的声望和影响，先后营救了大批被捕的爱国人士。胡志明被捕后，周恩来同志要求冯玉祥设法营救，冯玉祥一口应允。经过周密的计划，他拉着李宗仁一起当面去质问蒋介石。冯玉祥说：“首先，胡志明是不是共产党姑且不论。即使是，也是越南共产党，我们有什么权利逮捕越南共产党。其次，越南是支持中国抗日的，所以胡志明应是我们的朋友，而不是敌人。如果把支持我们抗日的朋友当做敌人，就说明我们的抗战是假的，因此，我要问问我们的抗战到底是真的还是假的？”冯玉祥刚问完，李宗仁也不客气地问：“为什么要在广西抓胡志明，这不是嫁祸于广西吗？这是下边的意思呢，还是你的命令？”蒋介石被问得无言以对，又害怕事情闹大，对自己更为不利，不久便下令将胡志明释放了。
长期以来，蒋介石对冯玉祥亲近共产党、靠拢人民、坚持抗战的言行就十分不满，何应钦等人更是视他为眼中钉肉中刺，他们派出特务长期监视和限制冯玉祥的爱国言行，对他封锁消息，极力将他与各进步人士隔离；又利用手中的宣传工具进行造谣诽谤、攻击中伤，骂冯玉祥是共产党的尾巴，还指使特务给冯玉祥寄去附有子弹的恐吓信；刁难甚至逮捕与他接近的人士；降低和削减军事委员会中冯方人员的待遇，以至于使冯玉祥的生活也常陷于窘迫之中。
冯玉祥为坚持抗战、坚持团结所作的种种努力和斗争却得到了广大民众的赞扬和支持，中国共产党也对他作出了充分的肯定和高度的评价。1941年11月14日冯玉祥60岁生日时，中共中央领导人毛泽东、周恩来、朱德等都致电致词表示祝贺，称赞他为反帝爱国的英雄。周恩来在祝词中总结和高度评价了他前半生的历史，并为他指出了努力的方向。周恩来在祝词中说：
“焕章先生60岁，中华民国30年。单就这30年说，先生的丰功伟业，已举世闻名。自滦州起义起，中经反动帝制，讨伐张勋，推翻贿选，首都革命，五原誓师，参加北伐，直至张垣抗战，坚持御侮，均表现出先生的革命精神。其中，尤以杀李彦青，赶走溥仪，骂汪精卫，反对投降，呼吁团结，致力联苏，更为人所不敢为，说人所不敢说。这正是先生的伟大处，这正是先生的成功处。
“先生善练兵，至今谈兵的人多推崇先生。五原誓师后，又加以政治训练，西北军遂成为当时之雄。先生好读书，不仅泰山隐居时如此，即在治军作战之时，亦多手不释卷，在现在，更是好学不倦，永值得我们效法。丘八诗体为先生所倡，兴会所至，嬉笑怒骂，都成文章。先生长于演说，凡有集会，有先生到，必满座，有先生讲话，没有不终场而去的。对朋友对同事，尤其对领袖，先生肯作诤言，这是人所难能的。先生生活，一向习于勤俭朴素，有人以为过，我以为果能人人如此，官场中何至如今日之奢靡不振？！先生最喜接近大兵和老百姓，故能深知士兵生活，民间疾苦，也最懂得军民合作之利，这是今日抗战所必需。先生在不得志时，从未灰过心，丧过志，在困难时，从未失去过前途，所以先生能始终献身于民族国家事业，奋斗不懈，屹然成为抗战的中流砥柱。
“先生的德功，决不仅此，我祗就现时所感到的写出。先生今届60，犹自称为小伙子，而先生的体魄，亦实称得起老少年。国家今日，尚需要先生宏济艰难，为民请命，为国效劳，以先生的革命精神，定能成此伟大事业，不负天下之望。趁此良辰，谨祝先生坚持抗战成功，前途进步无量。”
这篇祝词给了冯玉祥莫大的鞭策和鼓舞，他决心为了国家民族，“为了全国同胞和全世界的人群”，更加“努力不懈不怕牺牲，尽自己的本分打倒侵略的敌人”。
