王懿荣在巡视十县团练，也看到了许多不尽人意和不足，他指出：登州原有的团练，“因而不练，不如不团”。“无粮无饷”只是徒有虚名。因此，他建议“以城防勇例，济以资粮银，月二两两钱，一旦寇至，率众登陴，以守为战”。寇退则止，臣即于其中择其精壮娴熟者，拨入营武，名曰“乡练”，可“照正兵例给饷”。为了使所办的团练具备一定规模，发挥守城能战作用，他又提出“每县至少须有五百人，不足则以他县补之，再不足以招募莱、青一带者补之”的设想。以此计之，“十县合有五千人便成十营之数”，“使其分扎于十属之间”，平时逐渐更替交换，使之各与乡团相互演习，联络一气，扩大声势，以壮其志。如果沿海港口有警来报，“每使二百人，合乡团共守一城，以明指挥防御，盖不能战者亦不知守。而臣以此三千人者，和尾随大军之后，为之接运粮草，或裁击败寇之余，以之夺粮断道，其平时熟悉本地山川险要，或扼堤岸，或出偏师，以补大军所不足”。王懿荣还说道：“积熟生巧自惊旅”。为能使所办团练名符其实，能战能守，他还规定了“立营之法，拟仿陕西永兴军现行之制，亦即老湘军所遣营制，步队一营每月须饷银二千五百四十三两，马队一营每月饷银一千五百三十两”。“如果战事平息，这些人都可近归本籍，也容易遣散。”（王懿荣撰《黄县团练札记山东省博物馆吕伟达手抄本》）此外，他还在故里福山以王氏宗族为骨干组成了一支千余人的王家军。
正当王懿荣要手持戚继光宝刀指挥前线军奋勇杀敌之际，朝廷却派李鸿章在日本马关的春帆楼，代表清政府在《马关条约》上签了字，把中华民族若干利益出卖给了日本帝国主义。
《马关条约》，又名《春帆楼条约》。光绪二十一年（1895）三月二十三日（4月17日），清政府钦差头等全权大臣、直隶总督李鸿章及其子、钦差全权大臣李经方与日本全权代表、总理大臣伊藤博文和外务大臣陆奥宗光在日本马关（今下关）春帆楼签订。共十一款，附有《另约》、《议定专条》。主要内容为：（1）中国承认朝鲜为“完全无缺之独立自主”；（2）中国割让台湾全岛及所有附属各岛屿、澎湖列岛和辽东半岛给日本；（3）赔偿日本军费库平银二万万两；（4）开放沙市、重庆、苏州、杭州为通商口岸，日船可沿内河驶入上述各口岸搭客装货，日本政府可在通商口岸设立领事馆；（5）日本臣民在中国通商口岸城邑任便设立工厂、输入机器，只交所订进口税，日本在华制造的一切物品得免征各项杂税，所有日货均可设栈寄存；（6）交换俘虏，中国即行释放日本军事间谍或被嫌逮捕之日本臣民，并不得逮捕为日军服务的汉奸等条款。
王懿荣闻后，义愤填膺，夜未能寝，他写下一首诗曰：
岂有雄心辄请缨？
念家山破自魂惊。
归来整旅虾夷散，
五夜犹闻匣剑鸣。
据传，王懿荣当晚到蓬莱芝山戚继光墓前祭奠一番后，大哭一场。
光绪二十一年四月二十三日（1895年5月17日），王懿荣接到朝廷于十八日发寄的上谕：“和议已定，勿庸招募，著即回京供职。”王懿荣乘机向朝廷请了两个月假，他已经八年没有回故里了。得到朝廷恩准后，他回到了福山县城里住宅，洒扫庭除，安置锅灶，准备迎接母亲的归来，“藉此承欢，稍图定省”。
原来张之洞看到战火烧到山东半岛时，曾派24个营的部队赶到威海卫援战，又赠送了快枪1000支，弹药100万发。同时他还惦念在福山故里颐养天年的岳母的安危，通过烟台东海关林含芳道台，告知了王懿荣，早于光绪二十一年正月初三日（1895年1月28日），派专船小火轮到烟台将谢太夫人接到了两江总督任署，并为谢太夫人在南京城里花牌楼大街租赁了一所住宅，在此避住。战争结束后，谢太夫人要归返故里。张之洞电函告知王懿荣。王懿荣在给张之洞的回信中说道：
香涛妹倩老前辈亲家大人坐下：
在莱州得二十五日电示，家慈将以二十六日由南京启行东归，弟先以二十三日接到十八日廷寄：和局已定，无庸招募，诸即回京供职。弟当即具疏乞省亲假两个月，于二十七日拜发后，遣散将哨等人，即日首途，月晦抵里，至今尚未得南来消息。八年未归，又是兵荒迁徙之余，在家洒扫庭除，安置锅灶，藉此承欢，稍图定省，亦此生一大乐事。惟是家慈携全眷在此居住数月，往返资乘坐耗清俸禄应不下千金，且以事出仓促，敝兄弟俱未在家，故为此急就，感戴之下，益深歉疚。烟台去治署才五六日水程，弟在家两月乘轮北上，亦不过四五日，中间可得宽绰十许日，本拟微行来诣，一为叩谢厚谊，以快十余年未倾之愫，以泄中外大局之忿，惟限于资斧，不忍再以络索于公，仆病未能也。此行赔银五百余，皆所称贷于乡，而部拟库省月饷二万五千有奇，丝毫未动，只是所费部支二千，大为东抚所诧，渠不只能于此种事大诧而已。濒行慨赠千金，弟复以此系急难，并非谋差，断无此等行迳，辞之以去。即此所赔之数，不多抵书房一节赏犒而已。且赚得不起早、不写字、不作诗，为便宜甚大也。笑笑！回头一想，夜夜五更秉烛挥毫，写完即掀靴页，无怪公之当年，力言断不能充当此一差也。可畏也夫。此次和局不定，以区区登属而论，所可惜者，弟周历千局尽得形势，各县大姓皆属旧戚，莱阳、栖霞西南乡一带人，最剽悍，群言于弟，官募断断不出，若弟之招集乃自己家事情，愿出连环保结，即本族子弟亦情愿由县结送，以后死丧断不相怨，但使吾郡冢墓不至沦入异域。蛇无首不行，弟则此刻，登莱两郡京官之最大者。只是不去，便相依为命，决无后来相累之处，反以见慰，人心甚齐，最为可用，而言及海上诸军，皆凑集远东败卒，巩绥逃余而成。主帅，昧于地势，哨一味克扣，兵之所过毒甚于贼，皆太急痛恨，为可念也。且弟招吴某，即黔、蜀哥老之魁杰，陇回禹即回家投诚之孙，其祀八十老酋，尚且健在，一称有敢死之党三千余，一称素养马队五千余，若一旦用时声呼即至，马匹且不须买，并能冲抄，不须侦探，加以乡里子弟可得万人，此时虽已，将来若有台澎之举，不须乞外洋保护，且不愁海面无兵舰，只此一片净土，老当道卧，豹子焉敢过也。乡先生有智谋可用者，亦得数十人，沿海营圈遗迹了然，皆前明基址，针对海口水中无礁石，小船可抢岸处所，所安置星罗布，密如散丝，东省大小将帅乌龟王八蛋，鸟足以知之哉！东抚谋国，推心呕血，自是当今纯臣第一，然不晓洋务，二不知兵事，三且不看京报，以束薪为牛羊，机局太小，不可以为滕薛大夫，然已万中送一矣。奈何！奈何！专谢敬贺午禧，即请勋安。
弟懿荣顿首。
王懿荣在信中讲了这次组建团练经费花销情况。原朝廷批准户部拨银2.5万两，丝毫未动。几个月来，王懿荣虽是“量米下锅”，但不仅2000两银子全部花完，而且自己还赔上白银500余两，“皆所称贷于乡”。山东巡抚李秉衡曾经“慨赠千金”，被王懿荣断然拒绝了。信中所提在族中招子弟组成“王家军”外，还招募了哥老会一班豪杰。哥老会，本与天地会同出一源，为清康熙年间由郑成功创立的“反清复明”帮会组织。又称噜会，哥老二字为“噜”的音转。为清末天地会、白莲教两大结社的产物。“噜”是四川对于游民盗窃团伙的俗称。如当时湖广总督舒常奏称：“查匪类，川省呼之为噜子，即各处所谓光棍、泥腿子之类……”再如乾隆朝四川按察使姜顺龙奏：“查情系五方杂处之地外来之流棍颇多，其最著名莫如噜子一项……”
哥老会的形式，正是太平天国爆发前夕。在内战期间，哥老会获得迅速的发展，蔓延川、黔、陕等省份。哥老会称首领为大哥或大爷，互称“袍哥”，太平天国失败后，哥老会相继参加了农民起义和反洋教的斗争。王懿荣十分欣赏哥老会的“忠义”精神，与他们广交朋友，结成抗日联盟。只可惜因为朝廷议和，未能与哥老会杀日寇报国。
王懿荣把家里安排妥当。待谢太夫人由南京返里，他亲自到烟台码头迎接。到家后，王懿荣向母亲禀告了办团练的情况。特别提到三个多月中奏调团练人员，委派各营哨，历遍府属十州县的粮饷、马乾、川资等项所费，户部所支2000两白银全部光，而且还另外借贷了白银500两垫用。他认为钱虽花了，但终未能为国家出一力，“吾不敢累以国家以度支也”，仍要把从户部支出的钱全部缴还回去。
谢太夫人对儿子的做法甚为满意，对缴还部款，也欣然应允。她知道儿子无多少官俸，常典衣购置文物，要凑齐2500两银子确非易事。决定将自己的衣裘、钗钏拿出来典售，帮助儿子弥补了亏欠。并且安慰王懿荣说：“吾衣饰岂所固有，竭国恩之余。以国家赐予复为国家之用，何憾！汝勿以累吾为念。”王懿荣对母亲的大义深感敬佩，他又将部分田产卖掉，将所遣费用全部还上。
为将此次团练事宜善后善始善终，王懿荣还颁发了《咨山东巡抚文》，他说：
钦命办理登州团练事宜、日讲起居注官、南书房翰林王为咨明事：窃照本祭酒前奉钦命办理登州团练兼筹练乡兵，到籍后，周历十属，查勘情形，曾于四月初九日具奏。折内声叙所有此次由部咨行东省藩运两库先行筹银二万五千四百三十两，存储该库，以备动用。除本祭酒先在部库借支二千两外，此款由部咨东之项金数，现在仍存藩运两库，分文未动等因。相应咨行贵抚院查照前件，知照藩运两司各行据实声明报部查核，勿得含混迟延，实为公便。再本祭酒前于四月十五日差次移行登州十属各州县地方官，并札饬各州县团练总局团长绅董，造具清册四本，计分现办章程一本，城乡团长花名一本，海汊山坳小路地势绘图贴说一本，前明沿海备倭营垣土围遗址一本，以备陈对，就近申送前来等因。去后现除蓬莱、福山、栖霞、宁海（今牟平）、招远五州县业经造送外，所有黄县、莱阳、海阳、文登、荣成五县，迄今已两月之久未据造送。蓬莱、招远两县漏送城乡团长花名册子名一本。本祭酒假期届满，现拟于六月初二日由水陆回京销假复命，一并咨请迳由贵辕统饬各该县局迅速造送，转寄京寓，以完公干。为此合咨贵抚院部，请烦查照施行。须至咨者，右咨山东巡抚部院李。
六月十六日（8月6日），由烟台起程登火轮北上二十日回京复命，具疏谢恩，并奏请注销钦命办理山东登州团练木质关防。
王懿荣在任登州团练大臣、组织胶东团练期间，得到了军机大臣、内阁中堂翁同龢的大力支持，他在登州给翁同龢信中写道：
夫子大人钧坐：
今日花衣折件未上，亦未能请训准，拟明日矣。门生会同此数人者，去赴桑梓之难急切肤之灾，蹈汤投火，甘之如饴矣。请款有章借支，更属琐屑，诚以乱离之际，措手无资，携此稍有凭籍，不至为合同公骗之局。较之出使外洋拥重资得贵衔者，理欲自判。圣人在上，当可鉴此若诚，伏望夫子大人一言。赞襄得邀俞允，胜于门生哀诉万万。
……
倭气一日不静，登州不能一日无事。倭韩苦力烧磁北挖煤，种洇海，参者尽是登人。自明已然，不过，较之旅食京师与东三省者尚少，以彼总属异域，不肯易脉安家而已。现在东抚退保莱州，则倭之在登水旱并进，恐将无城不下，逃难者来穹。城门闭后，穷民窜伙，山谷冻倭以孔者不堪触目，借募为账，收其精壮，亦易招集，再有半月，不知更当如何，畏死求饱何所不至。
咸丰庚申接济洋人兵粮军火者，便是烟台汉奸，不然渠来天津，远涉重洋，何从取办口食采买米煤，故门生前折所言：威海若不保，天津万无可守之理是也！十属乡人以归骨之会有感！门生孰倭孰韩，土人俱能发觉，门生稍树一帜，使有所归，免为人用，不至甘心从逆，此非地方官所能做到，而门生坟墓、田舍可以保之，不至沦入异域，亦是此生轮回一次，报答先灵之，岂独为国效尽瘁王事已耶，愿言思之，涕零如雨。昨接刘道芗林复电，门生老母及全眷，去腊已为香涛由洋船接至南京。而香涛自到南洋以来，至今与门生书电一字未通，为此，亦来告语，使门生合家颠倒魂飞魄散者，殆将月余，其仓皇失措之状可感可想。若非赐转烟电，至今尚在梦中，此亦安放一件大心事，敬为我夫子大人告也。以上诸语，折中不能具述，有涉耸听之嫌，且倭韩民奸亦不欲加乡人，以此等名色，祗为此中实情，敢向函丈陈之。专叩！
王懿荣每到一地巡视，总是向翁同龢回报情况，他说道：
懿荣于叩辞后，以正月廿二日出京，二月初四到济南，见藩运两公，知饷已拨成，未承领，容见东抚再为筹商，在省只住一日，十三日抵莱，即晤东抚，闻即日发电报，知懿荣到籍日期。此次懿荣已例发专奏，海上大概情形另纸呈阅。客军纷纷调赴海丰埕子口矣，东抚焦劳，日日呕血，各军乌合既不得力，东省吏治不可问，奈何！
