霍元甲创办精武体育会的时间是1910年7月7日，农历六月初一。最初的精武体育会名叫精武体操会，会址在上海闸北王家宅，接近沪宁铁路自来水塔的地方。会所是一套老式房屋，房顶青瓦，草苫竹篱为墙，年租金168块银圆。
精武会创办之初，只设两门学科，一是武术，二是音乐。武术除有霍元甲的祖传绝技“迷踪艺”外，还有少林派的潭腿工力拳；音乐则是教中国民间音乐。因霍元甲不仅武功高强，也善音乐，能拉一手好胡琴。他认为人不但要注意强身健体，还要注意陶冶情操，学习音乐便是陶冶情操的最好方式，故同时设立这两门学科。
霍元甲被日本人暗害后，身无其他遗物，除有刀棒数把外，只有一把他心爱的胡琴。霍元甲走得这样匆忙，精武同仁悲愤至极，哀叹不已。正如后人撰文者发大声而愤慨道：杀一霍元甲，而第二、第三，以至无量数之霍元甲乃继续产生，其又将若之何哉！精武同仁们正是这样想，也正是这样做的。他们化悲痛为力量，立志继承霍元甲的遗愿，把精武会办下去，力争培养出千千万万个霍元甲，为雪“东亚病夫”之耻，为民族的振兴作贡献！
霍元甲去世后，农劲荪成为理所当然的精武会会长。虽经多方挽救，精武会仍不免陷于风雨飘摇中，处境十分艰难。因为，毕竟霍元甲才是精武会的大旗，大旗既倒，便失去了号召力。
就在这时，不知从哪里吹出的阴风，社会上谣言四起，恶毒攻击、拼命诋毁精武会。有的说，精武会其实就是变相的义和团，又要在上海起事；有的说，精武会教人使拳弄棒，一些顽劣弟子将来有用武之地了，以后肯定会盗贼四起，打家劫舍好勇斗狠者也会多起来；还有的说剧烈运动根本不合生理要求，越练越伤人。如此这般，使精武会备受侮辱，饱尝笑骂。一时间，社会上很多人都远离精武会，已经入会的会员也纷纷退会，最后仅剩七十余人。
农劲荪与刘振声等人协商，大家一致认为，很有必要立刻到霍元甲的家乡，去请霍家其他武术高手来精武会挑大梁，只有这样才会维持住局面，稳住阵脚。为此，刘振声亲自跑了一趟天津，请来了霍元甲的弟弟霍元卿和霍元甲的次子霍东阁。霍家人得知霍元甲被日本人害死的消息后，无比愤怒！但他们深明大义，知道如何做才是真正为霍元甲复仇。日本人为的是使精武会夭亡在摇篮中，他们唯有帮助精武会茁壮成长，才是继承了霍元甲的遗愿。为此，霍元卿和霍东阁毅然奔赴上海，去救精武于水火中。
刘振声此次北上，还去了一趟他的老家河北景州，搬来了虎头庄的几位武林高手赵连和、赵连城诸君加盟精武会。这一招厉害，是刘振声与农劲荪商量好的，没外露。
原来，景州虎头庄赵姓是刘振声的姐姐家。虎头庄赵姓居多，且男女老少多习武，其中有不少高手。1900年，八国联军帮助清政府镇压了义和团，且向清政府大量索赔，朝廷则怒责于义和团起事之地，向晋冀鲁燕百姓索税。吏簿文书到虎头庄，遭到虎头庄人的拒绝。赵家人据理力争，官府也惧怕，结果，虎头庄幸免于征税。赵连和、赵连城来到精武会后，农劲荪抓住这一机会广泛宣传，很快使精武会声威大震。
与此同时，还有一个人为当时的精武会贡献很大，他就是卢炜昌。
卢炜昌，广东香山人。他青少年时代，均在病中生活，身体极其瘦弱，行走坐立时都如昏睡一样，打不起精神，有“青蝇集目”的外号。卢炜昌结婚后，尚有尿床的毛病，实为虚弱所至。智力方面同样差，读书成绩欠佳，年二十，知识稍启，自知不能靠学问自立，乃弃学而经商。
在上海，恰遇霍元甲设擂台与英国大力士奥皮音叫板，吓跑奥皮音，使中国人有了一次扬眉吐气的机会，这让卢炜昌万分激动。那些日子，卢炜昌再也无心干别的，整日围着霍元甲的擂台转，聆听霍元甲在台上讲述拳术要旨，以及习武对人体健壮的重要性。卢炜昌从此便迷上了武术，当日，便拜访了霍元甲，愿做他的弟子。
精武会成立后，卢炜昌成为精武门的首批门人。他刻苦练功习武，很快大受其益，体质逐渐强壮起来。不想霍君遇害，精武突然被置于危险境地。卢炜昌扼腕痛惜，唯恐精武会夭折，与其他人一起，积极献言献策。在这危急时刻，在刘振声北上之际，卢炜昌邀来众多好友加入精武，其中有陈公哲、姚蟾伯、黎惠生等人。这些人后来都成为精武会的骨干力量，与精武会的发展壮大息息相关。
当年秋季，武术教练人才已聚集不少，社会声望也开始恢复，但是，会务经费依然十分紧张，常常捉襟见肘，入不敷出。《精武本纪》记载说，“演武厅中，陈列着木制单刀和铁片大刀，无缨秃枪、三脚板凳、光如萤火的煤油灯陪着一片教员的睡板……”为筹款尽快改变这一现状，农劲荪积极准备，特借新舞台开办首次精武秋季运动会，展示精武会的喜人成果。这一做法一箭双雕，既挣到了钱，解决了经费紧张的问题，又很好地宣传了精武会，使全体成员十分振奋。从此，这一活动便成了精武会的惯例，每年秋季都举行一次运动会。
