1907年对张作霖来说又是一个幸运的年份，从这年开始他就和北洋军结下了不解之缘，也为以后去北京争权夺利准备了充足的理由。1907年，清政府把盛京将军改为东三省总督，此时袁世凯为了把持朝政，安排自己亲信徐世昌调任东三省总督。
徐世昌上任之后首要的任务就是进行剿匪，由于当时兵力不足，武器落后，徐世昌也想借助在奉天的机会培养自己的势力，所以，到了东北之后，徐世昌抓紧购置洋枪洋炮装备，招募新军，选用新式的练兵方式，组织起强大的武装力量，这就是奉军的由来。所以，当时的奉系可以看做是北洋派系的外系。徐世昌带领新兵剿匪成功，得到了袁世凯的称赞。此时辽西的杜立三据守要地，战斗力强大，难以剿灭，这使得徐世昌对小打小闹的剿匪失去兴趣，他要拿杜立三开刀来凸显自己军事上的才能，以为自己增添政绩。
张作霖这时洞悉了他的想法，主动请缨剿灭杜立三。刚开始知道要剿灭杜立三时张作霖也在犹豫，因为张作霖与杜立三是结义兄弟。但张作霖心想，一旦杜立三被招安，恐怕要和自己争夺位置，于是，在利益面前，张作霖选择先下手为强把杜立三杀死。张作霖就以清政府招安杜立三为名目来诱骗杜立三赴宴商谈，开始杜立三不为所动，身边谋士也认为这是一个鸿门宴，有去无回。最后张作霖搬出杜立三的一个族叔作为担保（可见张作霖心狠手黑），等杜立三到宴会地点，张作霖就设计把他杀了。
诱杀杜立三后，张作霖收编了杜立三的手下，缴获了杜立三的财产，还得到了徐世昌的提拔，升任奉天省巡防营前路统领。也正是如此徐世昌怕张作霖越做越大，把他调离了辽西，让他去辽源等地去剿灭蒙古匪徒。虽然被外调，但张作霖后来还是辗转回到了奉天，个中原因，有些人归结为辛亥革命的爆发，给了张作霖重回奉天的机会，其实不然。即使没有辛亥革命，张作霖也会回到奉天，张作霖能回到奉天并取得奉天的实际领导权靠的还是他的谋略。
张作霖正在和蒙古匪徒交战之时，徐世昌已经被调离奉天，赵尔巽又被调回处理奉天事务。武昌起义的爆发也使得奉天处于高度戒备之中，当时蓝天蔚、张榕都在军中有官职，打算带领新军进行起义。哪承想武昌起义使奉天的起义没能成功，政府下令各军营原地待命。张作霖正是乘此机会快马赶回奉天，连同袁金铠向赵尔巽诉说当前形势，让其给自己兵权和更高的职位，暗中上报北京把蓝天蔚的官职撤掉，并建议要在革命党之前建立革命组织，以此来架空革命党，把东北的舆论氛围掌握在自己手里。
当革命党人还在沉浸在革命胜利的喜悦中时，还不知道有一双充满鲜血的手在伸向他们。省咨议局大会如期召开，赵尔巽在张作霖的陪同下战战兢兢地赴会，在会上，革命党想通过会议的形式来决定东北三省将来所要走的政治路线，不料半路杀出个张作霖，把枪在桌子上上一摔，说道：“谁要和赵总督过不去，就是和我张作霖过不去。我很爱交朋友，但我的子弹却喜欢喝血！”就这样，在张作霖的镇压下，革命党在奉天的起义宣告失败。
这件事之后，奉天的军政大权慢慢地开始向张作霖倾斜。后来，袁世凯忙着攻打南京，需要维持东北秩序，又派回了张锡銮维护东北治安。在1914年，袁世凯对地方官员的设置进行了变更，撤销了都督的称呼改为将军，张锡銮一直是亲袁派，在此次改制中对，袁世凯对张锡銮大加提升，对张作霖却维持原位，这就加深了张作霖对张锡銮的嫉恨。虽然张锡銮在奉天已经被张作霖架空，但张作霖是想把官位坐得名正言顺。张锡銮为了摆脱张作霖的掣肘也曾多次以辞职来请愿袁世凯撤掉张作霖，不过，由于日本人出面，张锡銮的计划没能成功。
对于张锡銮与张作霖的矛盾，袁世凯决定尽快处理，便召张作霖进京商谈。这次见袁世凯，张作霖表现得又惊又怕，他花费重金请袁世凯身边的红人段芝贵等陪同前往，见到袁世凯后行跪拜大礼，口中还说：“叩见、叩见。”之后在交谈之中无不表现出一副粗俗的样子，这样一来就打消了袁世凯的戒心，张锡銮得知袁世凯没有撤职张作霖后心灰意冷，最后终于辞去了奉天的职务。张作霖在期盼奉天大权落到自己身上之时，袁世凯正在忙于复辟帝制，任命他的亲信段芝贵来到奉天任职。张作霖表面上阿谀奉承，段芝贵的父亲贪财，张作霖就投其所好送上大量金银财宝，在段芝贵父子面前做尽好人，并积极响应袁世凯复辟称帝。张作霖联合冯德麟等奉天十九位高级军官发电声援袁世凯，为其称帝提供了后方保障。袁世凯称帝成功后大封百官，当时袁世凯处在了人民的声讨之中，许多地方也都闹起了独立反对袁世凯复辟帝制，张作霖就借此来脱离与袁世凯的联系。在声讨大潮中，袁世凯还寄希望于张作霖，他在与南方军战败之后想让张作霖带兵支援，张作霖却说少枪少炮、少粮少饷，袁世凯给足军饷之后张作霖却借故拒绝出兵，还在袁世凯覆灭之际狠狠地坑了他一把。
之后就是对付段芝贵了。张作霖在对付段芝贵时用了一招借刀杀人，自己坐收渔翁之利。张作霖当时任奉天将军下第二十七师师长，冯德麟任第二十八师师长。冯德麟与段芝贵矛盾积深，张作霖就趁乱世各地都在闹独立之际拜访冯德麟，说东北的地方就该东北人自己治理，倘若把段芝贵赶跑，按能力、资历、辈分我们都应该拥护冯师长为将军。
冯德麟对张作霖这番话很受用，便以复辟帝制的推动者之罪名要对段芝贵兴师问罪。这时，张作霖又站到段芝贵一边充好人，打着保护段芝贵的旗号劝段芝贵逃离奉天。张作霖在火车站送段芝贵离开，还奉上大批金银，不仅让段芝贵深受感动，还在当地留下了好名声。令人想不到的是，段芝贵的火车刚刚出关，张作霖就派人截下了火车，将车上的财物全部充公。张作霖自导自演了一出冒着得罪奉天各界的风险救下段芝贵的好戏，段芝贵父子回到北京后竟然毫不察觉，还到处说张作霖的好话，最终袁世凯任命张作霖处理奉天军务，兼任巡按使。这一系列事件惹恼了冯德麟——自己忙活半天把段芝贵挤跑了，最后好处全让张作霖得到，冯德麟从此和张作霖结下了梁子，他动不动就在奉天搞军事练兵，一副随时都要拿下张作霖的气势。本来双方旗鼓相当，但是一步错步步错，冯德麟搭上了张勋复辟的船，有钱买船票却没钱下船，本想复辟之后独占东三省，没想到张勋复辟不到一百天结束，冯德麟的名声也一落千丈。至此，张作霖掌管了整个奉天的军政大权。
奉天有二虎相争，黑龙江更是为了督军职位打得不可开交，总督换得就如看戏一般，最终黑龙江分成了两个派系——毕桂芳派和许兰洲派互不相让。张作霖从其中看到了可乘之机，他以调停两方为名，乘乱要夺取黑龙江的大权。在张作霖大军的压迫之下，黑龙江方面的军队只能选择屈服，此时北洋政府因为全力镇压张勋复辟，无暇顾及东北。段祺瑞当政之后，张作霖出面请求调任鲍贵卿为黑龙江总督兼省长。张作霖把握了黑龙江的兵权并与鲍贵卿结成儿女亲家，以此来巩固自己在东北的势力，这时候，他已经控制了奉天和黑龙江两省，在北洋政府的政治斗争中占有的分量越来越重。
随着张作霖势力越来越大，他与北京的联系也越来越密切。袁世凯死后，北洋军派系林立，张作霖的奉系军阀势力强劲，在对南方军队的战争中出力不少，他在段祺瑞组阁期间竞选副总统失败，便把目光又转移到吉林省。这时的北京政府任命张作霖为东三省巡阅使，以平复他竞选副总统失败的不满情绪。在东北，张作霖一方面利用东三省巡阅使的权利，把势力范围渗透到吉林，同时逼迫徐世昌撤销孟恩远的总督职位；另一方面，他借助日本制造的“宽城子事件”给北洋政府施加国际压力，为自己争取了夺取吉林政权的契机，最终张作霖如愿以偿地控制了奉天、吉林、黑龙江三省，成为了名副其实的“东北王”。
直奉战败自称王
蒙古在北洋军阀时期也不断遭受外来势力的分裂，张作霖在取得了东北三省的实际大权后，开始着眼于蒙古。张作霖出兵平定叛乱之后被北京政府授命为蒙疆经略使，这时的张作霖已称得上是满蒙之王。然而张作霖正出兵外蒙古的时候，北洋中央政府出现了变故，张作霖只能先把精力投入到北京的政权争夺之中。
直皖战争之后，皖系逐渐退出了北京政权的争夺游戏，北京政权完全掌控在曹锟和张作霖的手中，徐世昌被他们推选出来担任大总统，张作霖安插自己的人——靳云鹏重组内阁以谋求更多的利益，但靳云鹏的内阁经过三次重组均以失败告终，归其原因是内阁内部矛盾重重。政权的争夺时刻都在发生，张作霖在带兵打仗方面是个能手，在政治斗争上却明显进不了关内的门槛。最终张作霖没能挽救靳云鹏的内阁，之后他又推出了梁士诒这个老牌的政治家来进行组阁。梁士诒先后给曹锟等军阀表态寻求支持，又拉拢张作霖，表示自己上任后一定会在军饷方面对奉系进行倾斜，取得了张作霖的好感。因为得到张作霖的大力支持，梁士诒顺利当上了总理，组建了自己的内阁。
梁士诒组建内阁，这却激怒了曹锟、吴佩孚所代表的直系——梁上台后，所有重要职位都没有直系的人员，恰逢第一次世界大战结束，各国重新划分世界，中国作为战胜国也参加了巴黎和会。在会议上梁士诒为了讨好日本，答应承认日本在山东的特权，激怒了全国人民。吴佩孚这时体现出秀才当上兵的先天优势，奋笔疾书发动了带动全国舆论的“电报战”，极力声讨梁士诒，逼其下台。张作霖本来想帮助梁士诒，却引火烧身，也捎带着被戴上了卖国求荣的帽子。张作霖本想着随他骂就骂了，自己获得实惠才是最重要。哪成想吴佩孚来了一招更狠——发动北京以及各省的四十多个团体联名通电，讨伐梁士诒的罪行。最终梁士诒被淹没在了大众的口水之中，没有勇气再待在北京，只好逃到了天津，至此张作霖插手北京政权的计划失败。吴佩孚不费枪炮，用一口铁齿铜牙在政治上赢得了直奉战争的胜利。
张作霖也是打碎了牙往肚子里咽，恨自己年少时没多读几本书。他想的是，我嘴上打不过你，那就真刀实枪地打上一场，打到你服为止。张作霖恨不得马上杀了吴佩孚以解心头之恨。在确定对直系作战之后，张作霖广泛拉结盟友，先找到了皖系的段祺瑞，之后派人到广州联系孙中山组成“反直三角同盟”。而此时的吴佩孚已经洞察到了张作霖的动向，张作霖前脚刚建立的同盟，就被吴佩孚用糖衣炮弹各个瓦解，之后吴又用兵力牵制住了一些想做内应的军官，同时南方的孙中山也遇到了麻烦，自顾不暇。开战之前，张作霖对这一切还茫然不知，以为一切都在自己的掌控之中。
开战之前，双方也是大骂一番，可谓前无古人后无来者，骂够之后双方都找足了开战的理由，1922年4月26日这天，直奉战争以吴佩孚率先出击打响，29日，直奉东西两路正式交锋，直奉第一次战争全面爆发。在战争人数和战争配备方面，奉系都占有绝对优势，不过，由于战略部署不得当，指挥人员素质不高，开战不久奉系就面临全线溃败。
先是由张景会带领的西线开始崩溃，土匪出生的张景会对于大的战争有心理上的抵触，未战先败。西线的失守导致东线被围剿，这时张作霖还想奋力扭转局势，但在吴佩孚带领直系将领的追击下不得不退往关外。这场战争虽然以奉系的失败告终，但张作霖受到的损失不是很大，他大部分主力都回到了关内。这场战斗给奉系军队上了重要的一课。张作霖也开始认识到新的军事改革的重要性，开始着手对他的部队进行整顿。正是因为这一番卧薪尝胆的努力，张作霖在第二次直奉战争中才能取得胜利。他的军队一直打到了长江边，三分之一的中国都成了张作霖的天下。
张作霖失败退守关内之后，吴佩孚急于让大总统徐世昌罢免张作霖的各项职务，张作霖索性直接宣布了东三省的自治。张作霖战败回到关内，为了顾及面子，他找了一个比较体面的说法，说直系本打算和奉系一起出兵南方统一全国，却没想到直系的吴佩孚出尔反尔暗中偷袭，才使得奉军退回关内。东三省的自治也可说是赶上来了一波自治的潮流，当时中国各地效仿西方的联邦制政体，提出了中国式的联省自治。
东北宣布自治后，张作霖就开始从自身找失败的原因，这是一个十分难得的优点。张作霖最后把战败的原因归结到人才，他觉得，必须要培养懂新技术新的军事管理的人才。在和张学良共同探讨过之后，他把培养军事人才的重任全权交给了张学良，自己则一边练兵，一边大搞经济，东三省进入了平稳而快速的发展时期。
军事上，张作霖开办了陆军东北讲武堂，并邀请日本的和留洋归来的军官做教官，同时建立军事特训处，培养高级军官，表现优秀的可以破格提拔；之后张作霖还组建了空军，派了不少学员到外国学习飞行技术，他还购置了各国的飞机，到奉系军阀末期，奉军的飞机达到二百五十到三百架，成了当时中国为数不多的空中劲旅。与此同时张作霖还建立了海军，从日本购买了军舰，全盛时期东北海军有大小军舰二十多艘，在当时的中国海军也占有一席之地；军事生产上，张作霖大规模建造兵工厂，其规模连日本人都赞叹不已，想和张作霖联合分取一杯羹；军用物资上更是散尽金银大搞生产，为日后的战争做好准备。
教育方面，张作霖联合黑龙江、吉林共同组建了东北大学，在当时东北大学的设施和教员都是全国一流的。张作霖为东北的教育事业做了很大的贡献。
这一切都为张作霖日后长时间立足东北打下了很好的基础，说到底还要感谢张作霖直奉战争的战败，才给了东北这么一个快速发展的机会。张作霖的这些改革影响十分深远，东北大学现在还是全国知名的学府，从建立至今一直为中国输送着优秀的人才。虽然当时张作霖以权谋私，是为了自己的权利与战争的目的来进行发展，但他对东北三省长远发展的贡献是不可磨灭的。
