几天后，新立屯附近的一条小路上，出现十几辆大车，是盛京将军增祺家属的队伍。没走多远，路边忽然传来一声唿哨，大批土匪蜂拥而至，拦住了他们的去路。车上的人吓坏了，护卫的见土匪人多势众，也不敢轻举妄动，纷纷缴械投降。土匪押着他们，来到新立屯的街里。令大家感到奇怪的是，这些土匪十分客气，给增祺的老婆和仆人安排了一个上好的房间，其他的随行人员也妥善安置，没动刀也没动枪。
其中有个领头儿的，胆子比较大，心眼儿也多，他看张作霖二十多岁，谈吐儒雅、文质彬彬，话里话外透着一股实在和随和，一点儿也不像个土匪，就劝张作霖弃暗投明，走上正路。
张作霖告诉他自己也想为国家效命，只是没有机会。
领头儿的的便把此事禀告了增祺的夫人。增祺的夫人听了手下的禀报，决定见张作霖一面。一是自己身处险境，生死难测；二是如果能将这群悍匪引上正路，也是功劳一件。
张作霖很快来了，一进屋，恭恭敬敬，垂手站立，像一个初入社会的大学生。增夫人对他的印象不错，许诺张作霖回去后要增祺收编他的队伍，给他一个出路。张作霖命令手下的弟兄，将所有物品一律归还，送增夫人离开新立屯。
增夫人回到奉天，见到增祺，对张作霖赞不绝口，那些随行的人员也纷纷跟着说好话，奉天府终于同意招抚张作霖。张作霖书读得不多。但是头脑灵活，他明白我既然投靠了官府，就一定惟命是从，让我削谁我就削谁，往死削。
新民府知府叫增韫。他对张作霖很感兴趣，想要亲自见见张作霖。张作霖接到消息，马上换了一套新衣服，收拾利索，来见增韫。增韫对这个文质彬彬的年轻人很满意。
经过一番谈话，增韫让张作霖先回去吧，整顿队伍，听候命令。 张作霖千恩万谢，起身告辞。回到驻地，马上派人带着厚礼。上奉天去见增祺的夫人，疏通关系，以做到万无一失。
不久，张作霖得来了一个证明自己的机会，他接到奉天省总巡璞玉的密令：围堵海沙子。海沙子是个土匪头子。大名阎海山。自恃手下有一支能征善战的绺子，谁的账也不买。官府把它视为眼中钉肉中刺，非拔掉不可。璞玉下令清军全力进剿海沙子，并通知张作霖协同作战。这场大火拼官军大获全胜，击毙匪首海沙子及其同伙四十余人。张作霖在此战中表现十分英勇，拼死力战，腿上还中了一枪。
1902年11月19日，新民知府增韫代表官府收编了张作霖的队伍，成立一支二百五十人的巡警前营马队，张作霖任马队帮办。因为帮带暂时空缺，张作霖成为了这支队伍的实际控制者。
张作霖是个悟性极强，他清楚增韫是他的顶头上司，如果不抓住这棵大树，什么事也办不成。他还知道，目前增大人最大的烦恼，就是遍地的土匪，只要把这件事办漂亮，就一定能取得增大人的信任和支持。
在新民府有令人闻之色变的五股土匪，对于这些杀人不眨眼的悍匪，增韫非常头疼，哄也不是，打也不是，束手无策。这一切，自然逃不过张作霖的眼睛。他主动请缨，要收拾五股土匪。
他和增韫仔细研究，设了一个圈套。过了几天，府衙的文书发到五大土匪，通知他们到新民府招安受赏。有了张作霖的先例，几个大当家的带着自己的贴身保镖，大摇大摆地进了新民府。结果三个匪首被当场击毙，其余两个被活捉，投入大牢。张作霖趁热打铁，将五大土匪的人马迅速肢解，从中挑选了一些精干的土匪，加入了自己的队伍。这帮悍匪经营多年，有的是金银财宝，张作霖把好东西都收到自己的腰包里。这件事办得干净漂亮，增韫非常满意，对张作霖更加依赖。很快，张作霖在新民府成为享誉一时的人物。
1904年，东北的大地上传出激烈的枪炮声，小日本和老毛子干起来了！
张作霖利用手中的权力，偷偷地给俄国人提供一些粮食和情报，有时候还派手下的弟兄装扮成土匪去抢日本人的东西。名义上是帮助老毛子，实际上好东西都揣进了自己的腰包。他还充当双面间谍，俄国人有什么动静，也给日本人通通气。
随着战争的发展，小日本渐渐占了上风。最后，小日本挖出了张作霖，这个打着中立旗号的小个子和俄国人很有一腿。终于找到了一个机会，将张作霖秘密逮捕，押送到宪兵队。
张作霖意识到自己这次玩大了，进了日本宪兵队，就是进了鬼门关，能活着出去的太少了。可是，一连几天，日本人毫无动静，不杀也不放。这是干什么？
后来，翻译官来告诉张作霖，可以放他走，但是张作霖今后必须为皇军效力。好汉不吃眼前亏，张作霖假意答应了日本人。也就是从这一天开始，张作霖恨上日本人了。
在这次战争中，张作霖没有遭受任何损失。相反，他趁机从中渔利，扩大了自己的队伍。硝烟散尽后，他已经拥有三个营的人马，训练有素，武器精良。而且，他个人也大发战争财，狠狠地赚了一笔。
这段时间，奉天地方的官员不断调整，赵尔巽成为新的盛京将军，新民知府也换成了沈金鉴。与赵尔巽同期来到奉天的，还有一个张锡銮。张作霖对张锡銮非常重视，隆重接待，喜欢钱送钱，喜欢马送马，老头子走到哪，张作霖都亲自保护。张锡銮对张作霖非常赏识，不久，张作霖的队伍由三个营扩大到五个营，张作霖当上了统带，时年32岁。
1907年，清廷裁撤盛京、吉林、黑龙江三将军，改置奉天、吉林、黑龙江三省，设巡抚，并设立东三省总督，徐世昌被任命为第一任东三省总督、钦差大臣。徐世昌知道东北情况复杂，手里没有兵不行。他奏请朝廷，让第三镇的陆军随他出关。徐世昌要拔掉东北的一颗颗钉子，重整河山。
第一颗钉子，就是杜立三。