文星被迫结束后，我虽然自顾不暇，但我仍尽力照顾一个人，他就是殷海光。国民党自从在大陆失败逃到台湾后，他们检讨失败的原因，可分两派：一派认为专制得不够，今后要多专制才行；一派认为自由民主得不够，今后要抛弃老套，要做深刻的进步的反省才行。做这种反省的人数极少，但最成功的就是殷海光。殷海光这一成功，表现在《自由中国》杂志上，精彩无比。最后，国民党决定动手了，弄出了雷震案，《自由中国》也就停刊了。殷海光在《自由中国》时代，风光八面，如日中天，《自由中国》被迫停刊后，他顿失地盘、渐形索寞。1960年以后，到1969年死去，这九年间，他“一年老一年，一日衰一日”，却正好赶上我在文星时代，由于我的帮助，他虽在迫害频仍、衰病侵寻之中，却得以在出书上、生活上、医疗上和精神上，获得不少支援和安慰。在1964年到1966年间，他在文星书店共出了四本书，都是我主持的。四本书是：一、《思想与方法》，二、《到奴役之路》，三、《海耶克和他的思想》，四、《中国文化的展望》。在出这四本书的过程中，我遭遇了三个方面的困难，第一方面是殷海光本人的，殷海光是《自由中国》的首席余孽，他要出书，“十目所视，十手所指”，自不消说；第二方面是我本人的，我在文星兴风作浪，给文星带来极大的压力和麻烦，自己作孽之不足，还要勾结余孽，双料出书，“廿目所视，廿手所指”，也不消说；第三方面是文星内部的，文星虽然是进步的书店，但是还没进步到要甘愿赔钱的程度。“杀头生意有人做，赔钱生意没人做”，给殷海光出书，出到后来，简直已是又杀头又赔钱的玩意，劝说文星主人萧孟能出版指日可禁之书，是需要费些力气的，虽然萧孟能礼贤下士，但冥冥中老板老板娘“四目所视、四手所指”的画面，却也不可不知、也不可不稍为人家设想。殷海光是不怎么通人情的书生，我调济其中，希望出书第一，不要枝枝节节因小失大，这种苦心，我想殷海光和萧孟能都不尽知道。例如出版《中国文化的展望》，我为了给殷海光较高的稿费，就在萧孟能肯出的稿费之上，暗中自己贴了不少钱，此中调济，当事人不知也。
殷海光有一封给何友晖的信，中有一段自道他和我的为人：
李敖从前托人告诉我，说我“为人应世笨拙不堪”。我想他的话是有相当道理的。第一，他为人应世比我灵巧得太多；第二，他跟人接触，最根本的着眼点是自卫，因此他总先假定人是坏的。我的自卫意识远落在求真精神之后。我跟人接触时，尤其是跟青年接触时，常不假定他别有用意，除非确有明证来证明他是别有用意的，我不轻易下这样的判断。可是，等到有了明证时，我已经吃亏了。然而，我无悔，我并不因此对人类绝望。一个理想主义者常常不免要为他的理想付出这类吃亏的代价的。我们没有决定性的理由（decisive reason）来断言这个地球上没有真诚的人。我们可以碰，也可以寻找，与我们共心通灵的人。我想你们在香港可能交接到不少朋友。当然，时至今日，仅靠言辞不足以知人，我们还得在共同的工作里交友。
在时过境迁以后多年，回想大家“在共同的工作里交友”，萧孟能确是真诚帮助他的出版家，因为以殷海光当时的处境，这样年复一年地支援，确属难能可贵。萧孟能虽然与我反目，但他做的好事，不应埋没。——李敖为人侠骨柔情、恩怨分明，也由此可见一斑吧？至于殷海光说的“仅靠言辞不足以知人”，这倒真正有感我心。殷海光“为人应世笨拙不堪”，但是真正笨拙之尤的，乃在于他专门被他“仅靠言辞”的学生所欺所卖。殷门弟子与殷海光的关系，多是“单向会”、多是靠他提拔而不能有像样反馈的，他们在殷海光生前死后，投奔彼党者有之、投奔宿敌者有之、冒充传人者有之、拿他做演讲会纪念品者有之……但他们除了“仅靠言辞”之外，从未对殷海光援之以手。殷海光一生寻与他“共心通灵”的人，结果找到的，多是“仅靠言辞”的学生骗子耳！这真是他的悲哀！他“为人应世笨拙不堪”，还可举例以明：此公爱书成癖，有一次他看一本Aristotle（亚里士多德）的著作，他女儿殷文丽过来，他就教文丽念Aristotle这个字，没想到文丽正在换牙，没有门牙，念到totle，口水应声而出，喷到书上，殷海光大叫：“哎哟！哎哟！”急忙掏手帕擦口水。多好笑呀！还有，此公一辈子只打过四次电话（至多四次），有一次他太太教他如何打，把他带到公用电话旁，替他把号码拨好，对方说话，才递给他。殷海光紧握听筒，满头大汗，打完了，要昏倒的样子。他太太赶忙抓住他，发现两手冰冷、两眼发直，好一阵子才恢复正常。再谈他的鲜事。有一天，他和政大的另一书呆夏道平教授，忽然要开洋荤，跑进观光饭店喝咖啡，咖啡厅在十二楼，他们就进入电梯，可是很久很久还不到，空气闷得难过。殷海光说：“这么久了，即使一百二十层也该到了。”于是紧张起来，还是夏道平聪明，他看电梯墙上有许多阿拉伯数字，就乱按了一个，门突然开了，原来还在一楼！两人得庆重生，吓得不敢再坐电梯，决定走楼梯上去。走到二楼，就发现没有上三楼的楼梯了，只好又下一楼。殷海光说：“我们到别家去，何必一定要在这里。”夏道平说：“不行，既来了，一定要找到。”于是两人四处去找，找到一座有人开的电梯，总算到了咖啡厅，不巧那天咖啡厅休息。两人只好再摸索到另一较暗的房子，一进去，发现都是一对对情侣，两个老头也顾不得了，挤进坐下。看到一位歌手正在边弹边唱，夏道平碰碰殷海光，大声说：“你看，是真的人在唱歌呢！”
殷海光虽然“为人应世笨拙不堪”，但仍处处不忘自己是高级知识分子，从他生活细节上，也可看到一斑。他从不坐公共汽车，他认为人的尊严会给挤掉；他喝高级咖啡，吃英国饼干，去贵族医院看病……这些都表示他也蛮布尔乔亚的。另一方面，他除了不太会用电话机、不会用自动电梯外，要替人做衣服的殷太太向人收两种工钱——有钱的人要多付，没钱的人要少付……这些表示他也蛮书呆的一面。以这样层次的知识分子，来了解人间万象与真相，当然要受到很多限制。殷海光虽然天姿聪明，但在生活面上和人事面上，却很容易被投其所好、被小人利用。我举一个例子。《自由中国》停刊以后，殷海光对国民党的厌恶更深了，一个人只要同他骂国民党，他便轻易相信这个人。有一次，台肥六广图书室请我讲演，我认为来者不善，拒绝了；他们改请殷海光，我劝他不要去，他被封锁已久，还是去过瘾了。讲完了，一个人走过来，向他大骂国民党，立刻谈得投机起来。后来登门拜访殷海光，殷海光还把《自由中国》编辑胡虚一介绍给这陌生人，牵累到胡虚一身陷黑牢，原来那陌生人是卧底的！殷海光就是这样容易被钓的人！农村小孩钓青蛙只要用根线，往草里一放，青蛙就咬住不放，全身暴露而出。殷海光容易被小人利用，也正如此，雷震也犯同样的毛病。我同殷海光玩笑性地表示过：“你们的为人最容易被小人包围，你们搞政治，若当了政，恐怕小人当道的情形，更要严重呀！”
在我写《老年人和棒子》发表后，不久就发生了“中西文化论战”。文德（陈宏正）在《殷海光教授年谱简编》中说：“在文化论战中，李敖独得盛名，但殷却背着黑锅。”因为“西化派中殷的学生李敖、许登源、洪成完攻击胡秋原，引起胡秋原的误会，以为西化派是殷在背后策动”。以致殷海光“以后被胡秋原、徐高阮连续不停地施以人身攻击，对其后迫害殷不能在台大授课，形成一大压力与不利环境”。这段内幕，殷海光留下一篇回忆——《我被迫离开台湾大学的经过》，其中说：
在论战中，胡秋原君知识上的短缺，思想上的混乱，被我的一群学生指破。尤其是他参加“闽变”的往事，被李敖君指出。这一下使他的名流声威扫地。他痛心疾首之余，认为系我在背后策动，于是在《中华杂志》上参加徐君对我的围攻。这二位先生的言论，充满对我的污蔑、毒骂及构陷，但却俨然为学术尊严及自由民主和反共爱国而仗义执言。标榜历史文化儒家道德的某君（李敖按：徐复观也），则从旁助威……
……本年上学期末，各楼发现一种宣言，不知是哪儿来的。宣言的内容主要是批驳费正清等在美国国会证词，说他们“助匪”、“犯罪”。照我看来，这篇文章可算官方雇用文人的写作精华。彼等立论，完全是从一个政权的利益出发，罔顾世界大势。其实，费正清等人的言论，意在保全台湾。台湾这个小岛，若不是美国第七舰队保卫，恐怕早在1950年便陷共了，还有什么“反攻”空话可说？复次，这一宣言表面系“自由签名”，实际则为一“忠贞检查”。在台湾住了十几年的人，面对这一签名运动心里都有数，如不签名将被疑为不忠于某党政权。这样的人将蒙种种不便，甚至有打破饭碗的危险。在台湾这种形态的绝对主义的统治之下，谁不怕麻烦？在台湾这个饭碗难找的岛上，谁不怕打破饭碗？于是而有一千四百位文化工作者签名的盛举。我因为一方面认为我那一宣言的内容幼稚可笑，另一方面我尤其憎恶那种“间接强迫”的作风，所以拒绝签名。后来校方一高级党务人员亲自来舍劝签，仍然被我拒绝！
于是，多年累积的问题爆发了！
殷海光说“一千四百位文化工作者”的抗议宣言“不知道是哪儿来的”，但在十三年后，“哪儿来的”终于水落石出。1979年3月，“国防部”总政治部属下的黎明文化事业股份有限公司，出版了一本红皮烫金的《慎师七十文录》，是庆祝曹敏七十生日的一本专集，其中有一篇《胡秋原先生序》，我看了以后，才疑团尽解。胡秋原在序中回忆：
我是一个几乎没有所谓“社交”生活的人，与党政方面人士尤其少有个人的往来，所以我与曹慎之先生原不相识。民国五十一年，郑学稼先生和我因为一个同我们两人有投稿与书业往来的书店，在所谓文化论战后忽然对我们两人先后送红帽子，我们便先后对那书店及其作者提出诽谤案之诉讼，法院合并审理。这种官司在中国原很少见，所以开始之时旁听的人不少。当时一般朋友对郑先生与我的批评大抵是“修养不够”，“不上算”，甚至于说“好事”；只有三个人同情我们的遭遇，经常到法院旁听，这便是任卓宣、曹慎之、徐高阮三位先生。任先生是我们两人的老朋友，徐先生则因我而认识郑先生，曹先生那时与郑先生在国防部的一个研究部门同事，他是因郑先生而去，于是我在法庭开始认识慎之。
这一透露，告诉了我们：在胡秋原、郑学稼告文星的讼案一开始，曹敏便以与郑学稼“在国防部的一个研究部门同事”的身份，微妙地介入了。胡秋原又说：
当官司尚在进行之时，到民国五十五年，美国国会为越战举行听证，费正清、巴奈特趁机主张讨好中共以解决越战。有一天，慎之邀约我和学稼、高阮三人，主张写一封对美国人民公开信，结果有一千数百人签名的公开信在《纽约时报》发表，一时发生相当大的影响。此我与慎之合作之一事。
