后来黄霸就被调到了长安做京兆尹，因为不适应长安混乱而复杂的环境，几个月后又被打回颍川做太守，这件事前文提到过。
此后黄霸的政绩考核继续全国第一，数年后，又被调回长安，任太子太傅，随即任御史大夫，就是副丞相了。
刘询第十九年，前55年，丞相邴吉病逝。
邴吉这个人，严格来讲，并无丞相之才，他没什么文化，也没有多长远的眼界，但他有丞相的肚量，具体来讲，就是不得罪人，别人得罪他也无所谓，上至同朝列位的三公九卿，下到给他开车的司机，邴吉都是以礼相待，别人做得不好，只要不是原则性错误，邴吉当没看见，更不会主动去查办或者举报了。因为邴吉很清楚，自己能做到丞相这么高，至少有一半是因为皇帝在报当年的养育之恩。所以邴吉行事才这么低调，很少主动提想法或做决定，他知道自己几两重。
刘询是个勤奋的皇帝，大略地讲，皇帝该做的事情和丞相该做的事情，都让他一个人包了。邴吉这种性格，反而成了好事，邴吉只要把皇帝交代的事情做好就行了，而老成圆滑的脾气又让他的人际关系非常好，做起事来很方便，甚至不少人都主动帮他解决麻烦。
邴吉一般被后人定位为阿谀奉承，俯仰取容之辈，但一个本不该做丞相的人被放到那个位置上，能做到邴吉这个地步已经很难得。
班固说，高皇帝时期，萧何做丞相，什么都管，曹参做丞相，什么都不管；刘询时期，魏相做丞相，什么都管，邴吉做丞相，什么都不管。君臣搭配，他们都是榜样。
四十年前，还是热血青年的邴吉，拼着脑袋不要，也要保全刘询的一条小命，他的一生在那一刻放射出最耀眼的光芒，当年保全赵氏孤儿的程婴杵臼也不过如此，邴吉身上有古义士之风。谁都年轻过，但不是每个人都能有邴吉一样的经历，有一样的经历也不一定能做出他当时的选择。邴吉拯救的那个婴儿此刻正坐在未央宫正中，汉书记载，这一时期的人们，生活水平自大汉立国以来最高。
丞相没了，御史大夫递补，这是老传统，于是才做了四个月御史大夫的黄霸就做了丞相。
黄霸非常不习惯，不是他不想做丞相，是他发现丞相做起来实在别扭。按照汉律，或者说汉帝国宪法，丞相是副皇帝---至少是这么规定的，《汉书》的百官公卿表里是这么写的---皇帝管的事情，丞相都可以管，中央各部，地方各郡，诸侯王国，国防军事，大小事情丞相都可以过问，都可以管，没人敢说这是越权。
而正因为权力太大，职责太多，所以丞相应该像会议的主持人一般，作开场白，定下基调；做总结发言，得出结论；提纲挈领，高屋建瓴。黄霸可以像邴吉那样，把方向和结论性的东西扔给皇帝去做，他一团和气做老好人。
但黄霸属于不干活就难受的那种人，而且他把做地方官时的许多习惯也带了过来，比如他用自己做太守时的标准考核地方官的政绩，并作为唯一标准。什么东西唯一了就不好玩了，比如太太，比如标准。
地方官定期要派人来长安向丞相汇报工作，地方官自己不能来，他们来长安要奉诏才可以。每个郡都有人来，丞相府里经常人满为患，黄霸做事细致，这些人他一个一个谈话，大概他是大汉开国以来唯一一个这么做的丞相。黄霸的问题都是跟老百姓有关的，比如最近你们办学校了吗，修水利了吗，办了多少，修了多少，解决了多少老百姓的困难，指定多少利民的条例和规定，有多少鳏寡孤独，有多少孝子贞妇，分别叫什么名字，民风好不好啊，有没有发生路不拾遗的事啊...总之就是黄霸一贯的风格，做事情细到柴米油盐都要管。黄霸觉得自己是在做好事，尽一个丞相对国家的责任。
诸地方官吏，答得好的坐上座，一般的次坐，答不上来的末座，然后集中开大会一一点评，末座的要跪下谢罪。
这一次也是在开大会，丞相率领一众部级高官（九卿）在台上讲，上百个地方官吏人挨人人挤人坐在台下听，正沉闷间，忽然门外传来一阵杂乱的声音，引得不少人向外看。黄霸问怎么回事，有人报告说来了一群鸟。
前文曾提到黄霸在颍川郡做太守期间曾向长安报告说颍川出现了凤凰，至于是凤凰还是野鸡这里不讨论了，凤凰是祥瑞，是国家稳定的象征。报祥瑞报灾异是官员的责任。所以黄霸对鸟很敏感。黄霸问是什么鸟，回答说不认识，但体型很大，尾巴很长。黄霸心里一动，从主席台上跑出去看鸟了，定睛一瞧，好大的鸟，不过不认识。回头问各地方官吏，你们是各地来的，谁认识这种鸟？
大家都说不认识。
黄霸说，那这就是凤凰了。凤凰于飞，这是祥瑞啊，国泰民安，四海俨然，好啊好啊，应该报给皇帝。
众人同声附和。
其实这群鸟不是什么神鸟，当时的名字叫鹖雀，就是褐马鸡，在比较北的北方才有，今天还存在，分布在山西和河北两省北部交界处一带，属国家保护濒危鸟类，山西省省鸟---不知道山西的省兽是什么---褐马鸡体型大，飞行能力很差，所以落地的时候翅膀扑腾，动静不小，以至于连全国代表大会都因此暂停。黄霸是淮阳人，没见过褐马鸡；他呆得最久的颍川郡也比较靠南，也没有。他是真不认识，把这种鸟当成凤凰虽有些大惊小怪，但可以理解。开会的这帮人，代郡来的，河东郡来的，褐马鸡在他们那里所在多有，不止这两个郡的人，北方各郡的人几乎都知道这是什么鸟。但是丞相都不认识，而且看丞相那表情，简直像发现了宝，他们哪里还敢煞风景说其实这不过是褐马鸡而已...
于是黄霸跟几个人便开始研究怎么写奏章上报这次祥瑞。
京兆尹也是地方官，这次会议自然也有京兆尹衙门的人，这时的京兆尹还是张敞。散会后，京兆尹衙门参会的人把这事儿当笑话讲给张敞听，说丞相黄霸是个土包子，把褐马鸡当凤凰。
张敞恍然道，原来我养的那群褐马鸡跑到丞相府里去了，我说怎么找不到了，被黄丞相以凤凰相待，这群鸡的造化大了。
然后这事儿就在长安传开了，京兆尹张大人家的鸡被黄丞相当成了凤凰。
传到黄霸耳朵里，黄霸赶紧停止写他的祥瑞奏章，暗忖好险，差点儿丢老脸。