沈念农第二年调往他处，皖南军务转由原江西巡抚张芾督办。1856年，张芾深感石埭地处战争前沿，地方团防在战争作用巨大，功劳甚伟，即与徽州太守孙君商议，决定向朝廷保举石埭地方官绅七八人，杨摛藻和儿子杨仁山尽列名其中，杨仁山作战英勇，在团防中起了带头作用，应入保举的名单也毫无疑义。杨摛藻得到此消息后，立即致信张芾，再次作《辞张都堂保举书》。这一封辞保举书与前一封辞沈的保举书一样，态度诚恳，陈明原因。信中说，石埭地方虽小，也有一百多个村庄，劝输劝练，不是几个人所能为，各其分担责任，如果几个领头的受到保奖，就有失公平，要使人人都喜欢做事，不辞勤苦，唯有保持公平。去年向沈学宪辞保也说了这样的道理，一个人有功劳，大家都知道，不保举更能使大家踊跃为公，不辞劳怨。如果为了个人的名利，事情就不会是这样了，将来即使有微劳，也不必受奖，就是为了杜绝争端而能万众一心也。
在信的最后，杨摛藻十分谦逊地说道：
藻在局数年，返己自度，只有过差，并无劳绩，大人恕藻无能，谅藻无他，虽有过差不加谴责，亦为之幸矣。顾乃以迂疏末材，复邀优奖，外搏无实之名，内负攘功之咎，中夜问心，何以即安？故藻以为可止则止，以昭平允，即爱藻之意，玉成之道也。敢布腹心，惟大人裁之。
为辞保举，杨摛藻可谓苦口婆心，若不是因为胸怀宽广，一心为公，又岂能做到这一点？他以个人的人格魅力，深得张芾的敬重和信任，不久张芾就将他调到自己的身边，成为张的重要幕僚，两人之间也建立了深厚的友谊。
因为年纪较大，已近花甲，且有多病之身，不能亲临前线，因此，杨摛藻在张芾府中，只担负后勤保障工作。他以自己的交际能力和三寸不烂之舌，长期驻浙江、杭州等地，为军队筹运钱粮。因为年纪大需要有人照顾，儿子杨仁山便跟随着父亲，随侍在侧，一方面照顾父亲，一方面锻炼才干，增长见识。
此时的张芾，也已经年老，多年的战事，令他疲惫不堪，自咸丰三年在江西与太平军激战以来，不能说功劳不大，但因九江失守，他受到朝廷的苛责，心灰意冷，早已心生厌倦，蒙生去意。1856年底，山西老家发来急函：老母逝世。于是，他便决定回乡奔丧，守孝母亲。
而于此之际，皖南战事紧迫，主帅离去，必然军心动摇，群龙无首，徽州将不保，而致生灵涂炭。此时此刻，杨摛藻不顾个人安危得失，再三面见张芾，殷勤劝留，心躁情急，言语激烈，为了留住张芾，他几乎到了“言辞不恭”的地步。面劝不成，他又作《留张京堂书》。
杨摛藻认为，以人子事亲，殁既不能抚其含，葬又不能临其穴，是人最悲痛的事情，为母守孝亦是人生大事，但张大人即使回山西，虽尽孝道，但于义却犹有未尽。有志之士，以天下生民为己任，举大义而不拘小节。现在大敌当前，张帅离去，正是“业弃于方盛，功衰于垂成”之际。逆贼必然会乘此机会，“犯我内地，主帅无人，军情必乱，当此时，关隘不守，人民涂炭”。这样的结果难道不是与“以天下为己任的大义”相违背吗？如果真是这样，太师母的在天之灵又怎么能安心？
这封长信，情词恳切，为民请命，张芾深受感动。还有其他大臣和地方人士，均参与劝阻，最终使张芾终止了回籍的念头，继续履行自己的使命，直至1860年曾国藩大营转移到徽州祁门，他才离职告老还乡。不过，后来他还是保举了杨摛藻一次，由主事而升为员外郎，但此事杨摛藻根本就不知道。
杨仁山父亲的辞保不受，对青年杨仁山的影响是很大的。杨仁山后来也曾辞保不受，不能不说是受到了他父亲的影响。
四、受父亲影响
杨仁山的父亲杨摛藻熟读经史，形成了自己的人生观，在与友人的交往中，个性特显。咸丰初，他的受业门生胜保，为官京城，因敢于直言，冒犯了朝廷，受到贬职处分，被连降三级。有北京的朋友回南方，把这消息告诉了杨摛藻。杨摛藻立即致信胜保，告诉他：自古以来，羡慕权势保住禄位的人，当时虽荣，今日安在？真正能称得上伟人的人，千百年来，也是寥若晨星。真正的伟人，日以君为心，日以民为念，日以天下万世为忧，不避忌讳，不怕跌倒，不畏惧权势，不贪图利禄。你今天秉性亢直，敢说真话，也是因为有忠爱之心，匡正时世也。
杨摛藻给胜保写这封信，不仅仅是安慰他，他更担心的是弟子因为受贬职委屈而意志消沉，自暴自弃。因此，在说完这些劝慰的话后，他笔锋一转，告诉胜保：“然初念既贞，晚节尤重。”《易经》上说：“敦艮之吉，以厚终也。”一个人要自始至终都能保持最初的勇敢和良好的品德不是一件容易的事，有初者，鲜有终也。所以他劝弟子要读史书，在历史中去吸取经验和力量。
后来，胜保在北方镇压太平军北伐部队时，取得赫赫战功，职位高升，成为朝廷大将和钦差大臣。春风得意的胜保很快就将喜讯报告老师，杨摛藻则回信婉言相劝，他在信中说：
见古人行事，不必其同，而皆起于一念，一念能诚，智勇因之，载在史册，称颂至今。一念相纵，坏败因之，载在史册，谈笑至今……愿足下夙愿忧惧，以古人卓卓著功业，永无偾事者自期，毋以旷日持久，勤苦难堪，稍有怠心。一身成败，万世美刺，在此时也，不可不知。人不可不虚己矣！
当时，胜保大名威震海内。不久，他作为钦差大臣，移师南方，督办皖中军务，与琦善在南京的北面建立了江北大营，成为镇压太平军的功勋之臣，受到慈禧的赏识。但他因居功自傲，骄横跋扈，生活奢靡，最后遭到朝廷的法办。这些都是杨摛藻始料不及的，不过从上面两次对胜保的婉言嘱咐中，也可窥出杨摛藻对弟子胜保的性格颇为了解之端倪。
石埭广阳桂氏家族也是当地的一个大姓。桂氏家族中的子弟桂丹盟也是杨摛藻的弟子，官至广西观察使，自太平军在广西起事后，桂便回到故里，优游山林，以声色自娱。作为朋友，杨摛藻写信相劝，他在信中说：“治家之道，莫贵于严，立身之方，莫要于敬，一迩声色，必多亵越，何以为后生法？以藻之见，揣先生之为人，当不其然。特以先生素喜闻过，藻有所闻，不敢不言，窃恐所传非尽无因也。”
不过，当时杨摛藻自己也讨有小妾，在那个时代，可以一夫多妻，只要经济上宽裕，讨个小妾也算不了什么，关键的问题是不能沉迷于声色之中。
后来，太平军打到石埭，杨摛藻出山积极组建团练，而桂丹盟仍游于山林，不肯出来参与抗击太平军的工作。杨摛藻又一次写信劝告。他先告诉桂丹盟：
迩来贼氛渐减，我师大振，北则敝徒克斋（胜保，字克斋）六月报捷，意将南图，以取金陵。南则敝友涤生（曾国藩，官居北京时改名涤生）提百万之师，杀敌焚艇，顺流而东，又有徐观察出徽郡，收建东，此正转乱为治之时也……阁下犹复寂处如故，假如斯民腾以蜚声，上宪责以大义，何以处之？为阁下计，不如速出重资，招募壮勇，随徐公以收我郡，则松柏之操，晚节犹劲，此其时矣。
作为朋友，说上面的话，真是够严厉的。信中所提到的徐公，即徐荣。当时，安徽的安庆及沿江均被太平军占领，通讯不畅，因此朝廷又命浙江巡抚黄宗汉督办皖南军务，1854年七月，黄宗汉派遣代理杭州知府兼杭嘉湖道员徐荣带领浙军来徽设防。1855年初，徐荣带兵增援徽州黟县，与太平军激战渔亭，不幸阵亡。而后朝廷再派张芾到徽州。
从以上与两位友人的交往中，完全可以看出杨摛藻的为人和品格。
杨仁山父亲的这种为人和品格，深深地影响了杨仁山。杨仁山一生的交友和为人，与其父亲有许多想像之处。
五、父子同在曾国藩麾下
1860年七月三日，曾国藩率湘军由宿松出发，经东流、建德，于七月二十八日到达祁门驻扎。当天夜里，张芾写信给曾国藩告急求援，请求派兵增援宁国被太平军围困的周天受部。但几天过后，没有得到曾国藩的援兵，张芾只得又派与曾国藩同年进士的杨摛藻前往祁门，对曾进行游说。
曾国藩八月六日杨摛藻带着杨仁山到祁门，见到了曾国藩，并与之进行长谈。次日，曾国藩到杨摛藻的住处进行回访。一连三日，两人见面三次，长谈三次，杨摛藻虽然没有说动曾国藩派兵救援宁国，但他带着儿子杨仁山留在了曾国藩军中，当曾国藩的幕僚，由此，杨氏父子开始同在曾国藩麾下做事。
当时曾国藩意欲夺取安庆，有大的战略意图，不能分散兵力，打乱整个部署。曾国藩与杨摛藻长谈三次，在他日记中虽没有记载所谈的具体内容，但从中可以分析出谈话所包括的三个方面：一是相叙旧谊；二是分析当前形势；三是动员杨摛藻前来一同征伐太平军。从后来张芾离去后杨摛藻就带着儿子杨仁山赶到祁门投入曾国藩幕府这一点来看，当时曾国藩对杨摛藻是做了一番耐心动员工作的。
八月十一日张芾写信对曾国藩进行谴责，这可是一件非同小可的事，因为就在这前一天的八月十日，曾国藩被朝廷实授为两江总督，如此高官岂容得一个下属对上级进行随意谴责？更何况是在战争的非常时期。不过张芾已下定决心要离开战场，辞职报告打上去以后，即得到朝廷的批准，诏免回乡。随后不久，英勇善战的周天受在宁国血洒疆场，徽州失守。皖南军务由曾国藩统辖。
杨摛藻与曾国藩为同年进士，年龄却比曾国藩大12岁，二人当年在北京为官，都崇尚宋明理学，关系非同一般。杨在前面所述写给桂丹盟的信中，称曾为“敝友涤生”。现在，二人历经战乱，共同为讨伐逆贼而竭尽全力，因而相见如故。且在战争时期，人才难得，每一个有雄心壮志的人都在广罗人才，曾国藩怎么不希望杨摛藻能来他的幕府中效力？杨摛藻进入曾国藩幕府后，即被派往与祁门临近的江西筹运钱粮，一家人也迁往江西一个较为安全的地方。
1861年九月五日，曾国荃所率领的湘军一举攻克安庆。六日之后，杨摛藻随两江总督曾国藩进驻安庆，并受命主持采访忠义局，同时主讲敬敷书院。
此时的杨摛藻已经垂垂老矣，多年战争中的操劳和奔波，严重损害了他本不强壮的身体。现在他年过花甲，再也不能亲赴一线指挥作战，也不能东奔西走筹饷运粮。出任主持采访忠义局和主讲敬敷书院，是曾国藩对他年迈身体恰到好处的任用。此两处均是培养和储备人才的重地，对于战争以及战后的恢复重建工作都至关重要，杨摛藻同样不能稍弛松懈，同样需要日夜不停地工作。
他与曾国藩关系密切，二人经常互访长谈，共进晚餐。曾国藩对他的为人十分了解，在向朝廷保举时，并不通知他，不使他知，于是二人相安无事，曾也不会接到他的“辞保举书”。他已经年老，体弱多病，更不需要升官晋爵了，只以自己的身体，力能为之则尽力；力不能为则尽心，兢兢业业，克己奉公。
在他写的《重订敬修堂文稿》一书中，收录一篇《读史杂记》，仅一百多字，不妨摘录如下：
在上为君子，在下为小人，以位言之也。为善为君子，为恶为小人，以德言之也。位，名也；德，实也。名不如实，故位不如德。予尝读史，而见君子小人之所终，较然不爽矣。尧、舜、禹、汤、文、武有德兼有位，孔子则有德而无位，而后世尊之如一。无位，无损也。盗跖无德兼无位，桀、纣、始皇、炀帝则无德而有位，而后世鄙之如一。有位，无益也。
对君子而言，贵乎有德，对杨摛藻而言，则终身追求这一目标。
在安庆工作了两年以后，杨摛藻再也支撑不起虚弱的身体。长期的哮喘、咳嗽把他折磨得奄奄一息。1863年农历的六月二十五日，曾国藩前来看望他，他起身端坐，神气不乱，款叙周详。尽管如此，明察秋毫的曾国藩还是看出，他的病已到了无法挽回的地步。曾国藩回去以后，在日记中写道：“至杨朴庵处看病，观其安闲淡定，视死如归，不愧学道君子之自然，病则十分沉重，无可挽回矣。”
杨摛藻在最后的大限将至时异常清醒。死是不足畏惧的，令他忧愤的是未能亲眼看到最后的胜利。方宗诚在《杨朴庵家传》一文中，记下了杨摛藻临终前的遗憾：“吾死无所惧，惜未见粤匪之平耳。”也因此他“无以亵服归泉下，见吾父母也”。生于安乐，死于忧患！七月十三日，杨摛藻终于闭上双目，离开了这个忧患深重的世界，享年64岁。当日，曾国藩前去吊丧，回去后曾在日记中写道：“至杨朴庵处吊丧，渠本日卯刻仙逝，甫经小敛。”这时候，曾大人才发现杨家“家境贫困，无石米储”。七月二十一日，曾国藩亲书挽联一副，沉痛悼念杨摛藻，联云：
轩冕久轻，少怀大志；
皋比勇彻，老愈虚心。
七月二十五日，杨家开祭，杨仁山以长子的身份，代表杨家，一概拒收奠仪。曾国藩在日记中写道：“至杨朴庵处行礼，渠家本日开吊，不收奠仪。”
方宗诚在《杨朴庵家传》一文中写下了对杨摛藻的评价：“君性情和易耿介，不戾俗，亦不诡随，卒之后，学者莫不思之。”
杨摛藻逝世后，他的家人才知道，张芾和曾国藩为他各保举一次，逝世后，又赠光禄寺卿衔，享有四品待遇，并奏请礼部审核，准许入祀名宦乡贤祠。
同年秋天，杨仁山护送父亲灵柩回故里石埭安葬。此时，长期驻扎在皖南的太平军首领古隆贤已率四万人向清军投降。
杨摛藻被安葬在故里岭下杨家村以东约三百米的凤形山上，这里是杨氏家族的祖茔之地。
