加上皇上大人尚武，对于文官多多少少有点儿不信任，很可能最近就在等一个人来开创重武轻文的局面，到时候武将很可能作为朝廷的主导，压文官一头，大家捞钱的好日子可就到头喽。
于是大家合力上书，兵部尚书甚至亲自出面，主动提出要吕文绍这个人，吕文绍也只能从都督府调到兵部了。
事实证明，环境可以改变一个人，也可以塑造一个人，吕文绍就是被环境塑造的一个人。
起初在兵部，他也是一肚子苦水没处放，整天最晚一个到，最早一个走，是一分钟也不想多呆。
回到家也只是闷声不说话，武艺也荒废了，一身蛮力在朝廷里有什么用？朝廷是老油条们勾心斗角，摸爬滚打的地方，他吕文绍一个武将，不被人斗死就是万幸，还指望着和别人斗一斗？
在当时的他看来，自己的前途已经废了，若不能再次指掌兵权，这辈子也就这样浑浑噩噩地过去。
据顾鹏说，他有一次去探望这位号称万人敌的猛士，竟看见那七尺长的大个子，萎靡地坐在桌边，一蹶不振，旁边摆满了酒碗，再看他的人，瘦削了不只一圈，原先是膀大腰圆，英武之气的象征，现在好似一条长虹豆。
好在吕洪斌家底雄厚，他住的地方倒是雍容华贵，可顾鹏一眼就看出来吕文绍不属于这地方。
顾鹏看着惋惜，想当年这位不过十八九岁的孩子曾经也是大将军，也曾冲锋陷阵，以一人敌万人，现如今落得这副模样，令人扼腕叹息。
于是就指了指院子里的流星锤和百齿棍，同他说：“这两样兵器，你还举的起来么？”
吕文绍闷了一口酒，说道：“举不起来了，就算举起来也没什么用。”
“哦？此言何意？”
“兵部是文官待的地方，朝廷里那帮老家伙，见不得我斩敌立功，把我搞到这里，我一无兵权二无势力，只能任人宰割。”
“你父亲呢？”
“去西域了。”
“他年方几何啊？”
“五十有几了吧，老来得子。”
“你几岁了？”
“今年正好十九。”
“五十岁的老骨头尚且能为国守西域，十九岁的少年颓废在家，坐拥兵部左侍郎之位而不作为，可悲可叹呐。”
说完这话，顾鹏瞥了一眼院子里的两样兵器，留下独自坐在屋中的吕文绍，走了。
值得一提的是，那时候的吕洪斌还算是比较正派的，不知怎么地这几年突然变了。
吕文绍自打那以后也变了，听京城里的传闻，吕文绍请假在家，兵部自然应允，毕竟让他来当左侍郎就是做个架子。
某一日突然有人听得他院子里传来金属的碰撞之声，还有人的大喝声。
大喝声持续了三个月，三个月之后吕文绍开院门，七尺男儿，剑眉星目，浑身上下壮如猛虎，一手提着流星锤，一手提着百齿棍，大踏步地招摇过市。
据说当时的场面很有点戏剧性意味，京城的老百姓见到他，纷纷避让出一条道路，人人都知道万人敌吕文绍闭关结束了，即将再回朝廷，而他的目的地，不是都督府，而是兵部。
到了兵部，官员们都傻眼了，这位大个子沉寂了一年多，居然以这幅模样来上朝，且来势汹汹，活像是来砍人的。
这帮官员平时待吕文绍还算客气，但都有事儿没事儿喊上一声“吕侍郎”，各种大事也不让他参加，美名其曰：“吕侍郎，这事儿有点复杂，您先去歇着，让小的们来干。”
言下之意就是说这事儿是朝廷上的事儿，你一个粗人干不成，反正你现在也不是武将了，我们把你搞来也就是当个吉祥物，真正的事宜您还是别掺合了。
明摆着戳人家痛处，拿人家开涮，每次听到这些言论，吕文绍心里跟明镜儿似的，但又不好发作，一咬牙就直接回家不干了。
现在这位大爷再次出山，官员们往日或多或少的对他的讽刺涌上心头，不免打了一个寒战，生怕这万人敌是来找自己算账的，于是一时间都忘了礼节，纷纷和老百姓一样往左右避让。
吕文绍看着这群人，心里觉得好笑，他走近一个，瓮声瓮气地问道：“请问我的书房在哪儿？”
这位官员估计是先前挖苦吕文绍挖苦得比较多，此时心虚得很，靠在墙上颤颤巍巍指着一个方向，等吕文绍走开后他裤子已经湿了一大片。
吕文绍提着锤子和狼牙棒走向自己的书房，沿途无人敢阻拦，但都纷纷把目光投向他手中的兵器，并做出纠结的表情。
因为庆朝官员上朝是严禁带武器的。
皇上大人疑心重，你上着朝带一把剑，说不定在他眼里那把剑时时刻刻准备出鞘，架在他脖子上。
为了避免上着朝还提心吊胆的，林广下令上朝一律不得佩戴武器。
而吕文绍拿着这两个千斤重的大家伙，在里皇宫只有一墙之隔的兵部大肆走动，官员们都捏了一把汗。
要是被皇上发现了，搞不好就是谋反罪，直接拉出去杀头是很有可能的。
但吕文绍好像不知道这一规则，继续往前走着。
一位胆子比较大的官员看不下去了，他明白吕文绍再走下去会出事儿，便上前张开双臂拦住他，说：“吕侍郎，上朝是不准佩戴武器的。”
吕文绍挑了挑眉毛，光是这个动作就让这个小官腿发了抖。
“不让带武器是么，好。”
他答应了一声，把锤子和狼牙棒放在原地，一溜烟跑向自己的书房。
小官员终于松了一口气，周围的兵部文官们纷纷为他在心里竖了一个大拇指，在他们看来，这么做是需要很大的勇气的。
而在这位小官看来，这么做只是他的本分，只是需要点勇气而已。
他叫王应昌，他说到底和吕文绍是同一种人，不肯把自己脊梁骨弯下来的那种人。
吕文绍跑到了自己的书房，把里面的桌子椅子柜子什么的一股脑地全扛出来，放到兵部外面，建造出了一个露天书房。