进口一批枪械，三个月后才能运回山西，之前不能有所举动。否则，枪械就可能让奉军掠去。赵在武汉与北伐军会面之后，又赴南昌拜见了北伐军总司令蒋介石，转达了山西方面对北伐军的欢迎和期盼之情。蒋介石对阎锡山做出这样的表态表示满意，认为阎锡山是同盟会的老前辈，又是丈夫团的人，盼望他能及早举事。阎锡山听到这个消息，感到这次试探收获重大，北伐军不仅没有将自己当作打倒的对象，而且还把自己当作革命力量，自然也很高兴。于是把张作霖的任命弃在一旁，随即指示赵向蒋介石允诺，晋绥军可以在1927年的5月5日出兵。广东革命政府对阎的明朗坚决的表态非常欢迎，由国民党元老谭延凯提请，广东国民政府授予阎锡山北方国民革命军总司令之职，对他在北方响应和配合北伐军寄予很大的希望。
一边是“安国军”副总司令，一边是北方国民革命军总司令，阎锡山在两边都挂着钩，观望形势而来回掂量。这时，阎锡山盘算的是，北伐军虽然节节胜利，但离山西还是太远。奉军仍盘踞着京津地区，强大的实力分布在京汉线和京绥线一带，自己如果表态太早，反倒会惹怒张作霖，招来大祸。因此，他也没有立即就任北方革命军总司令一职，并且，还派出代表在北京与奉系继续维持关系。
形势不断发生着出人意料的变化。4月12日，蒋介石发动政变，向中国共产党和革命群众举起了屠刀，并建立南京国民政府，与汪精卫的武汉革命政府对立，史称“宁汉分流”。阎锡山看到蒋介石在北伐军中有着强大的势力，特别是他以国父孙中山的传人自居，以后会是中国政局中举足轻重的人物。而此时，北伐军已在向河南开进，冯玉祥的西北军也已向着东边逼来，再拖延下去不表明态度，山西就会成为北伐军的攻击目标。于是，6月，阎锡山赶忙宣誓正式就任北方革命军总司令，并且在山西改悬青天白日旗，公开了联蒋反奉的立场。
旗帜是打出来了，但阎锡山继续以保存自己实力为核心，玩弄脚踏两只船的把戏。他盘算：北伐军尚在豫南，而奉军在郑州以北的京汉沿线驻有重兵，如果自己动作失当，还是有招来攻击的危险。因此，他不仅不积极出兵协助北伐军，相反却派代表前往济南等地与奉方的部队拉关系，设法减轻奉军对山西的压力。张作霖对他易帜联蒋极为不满，曾派人到太原，警告他悬崖勒马，必须立即取消青天白日旗，否则就会有战争发生。阎锡山狡辩说，虽然改挂了青天白日旗，但也并不意味着与张作霖决裂。一面应付，一同却也做好了配合北伐军攻击奉军的准备，将部队沿太行山分几路秘密出击。
这种复杂心理和举措，阎锡山曾在“就革命军北方总司令”的宣言中表白说：山西所处环境至为恶劣，“环绕吾人之左右者，日夜思颠之覆之，欲置吾人于死地。为保留河北以北微弱的革命势力，与三民主义之障碍者虚与委蛇，十四载于兹矣。设使孤军转战，其必败无疑也。”在为自己首鼠两端、朝秦暮楚辩解的同时，也确实道出了为客观原因所迫无奈的一面。
此后的几个月内，又发生了一系列重大事变。
7月15日，汪精卫在武汉也叛变革命，向工农群众开枪，与蒋介石又合流走到了一起。国民党向中国共产党举起屠刀，以“清党”的名义，驱逐和杀害共产党人。阎锡山在反共问题上，一直是态度明朗的。他声称：“共产党挑拨阶级斗争，国民党绝对不可仿效”，并主张“今日的清党，清其人，尤须清其法”。他在山西积极支持和追随蒋介石的清党运动，与当时的国民党山西省党部狼狈为奸，驱逐和杀害共产党人。他在山西成立所谓“自新院”，对政治犯进行感化训化，也算得上是一个发明。而且，他还看到了共产党发动组织的“农民协会”的巨大潜在力量，特别予以反对。他说：“最可注意的是农民协会。工人罢工，铺伙迫掌柜，弊病虽大，范围尚小，操纵较易，尚可转头。若农民协会分散在乡村，范围既大，无论如何组织，无法操纵。即使操纵有术，亦必为共产党所利用。”
但是，中国共产党人并没有被血腥的镇压吓倒。共产党高举革命旗帜，先后组织“八一”南昌起义，9月9日秋收起义，10月11日广州起义等，中国共产党领导下的革命队伍作为一支独立的武装力量，出现在历史舞台上，加入了决定中国命运的拼搏之中，与蒋介石反动势力展开了殊死战斗。
10月1日，阎锡山正式誓师讨奉，派出四路大军：右路军攻取石家庄，而后沿京汉路两侧进击，左路军沿京绥路两侧进击，还有一路则向北京的南北两侧展开袭击，前敌警卫团则由五台县进入河北，袭击奉军侧翼，与正面部队相策应。这是山西军队第一次大规模的军事部署，阎锡山亲临石家庄前线督战。
初期，进展迅速，捷报频传。左右路军都攻城掠地，大跨步推进，傅作义部于10月13日占领了重镇涿州。
这时，奉军组织了强硬的反攻。左路军遭遇两面夹攻，全线动摇，被迫向娘子关撤退；右路军遭到重创，损失惨重，退至大同，又退守雁门关。左、右两路形势逆转，大部队后撤，傅作义部进占的涿州便成为一座四面被围的孤城。奉军得势之后，调集号称30万大军，由张学良等统率，分两路向娘子关、雁门关发起猛烈进攻。晋军凭借易守难攻的地势，利用山西兵工厂制造的爆炸威力强大的短火器，顶住了奉军的一轮又一轮攻击，使奉军的猛攻无法奏效。奉军在山西境内无法取胜，便在河北全力攻击被围的涿州城。奉军一开始看不起防守涿州的傅作义，然而一再增兵，轮番攻击，却总是拿不下来。此事让张作霖甚为恼怒，令张学良亲自指挥，集中精锐兵力攻城。奉军炮弹倾泻如雨，涿州城墙倒塌，四面被撕开了口子，但麻袋堆积而成的新防线立即挡在了奉军面前，奉军始终无法突破晋军的防线。奉军改用挖地道的方法，企图从地下炸毁晋军的防守工事，傅作义识破了他们的计谋，便用在内侧挖坑埋瓮的方法，察听出挖地道的方位，针锋相对予以破坏。晋军在涿州城内挖成了四通八达的交通壕，处处是掩体，步步有防守，建起了强大有效的防御工事，使奉军徒唤奈何。晋军在涿州城内防守了三个月之久，弹尽粮绝，士兵以老鼠、麻雀为食，身体浮肿，极为惨痛。傅作义电请阎锡山派兵支援，阎锡山复电说：“尽军人最后之天职。”不肯派兵前往。傅作义无法，只好与奉军作了有条件的妥协，结束了涿州攻防战，部队被奉军改编，自己被张学良软禁在保定。但这一战却打出了晋绥军的威名，使傅作义成为人们赞誉和崇敬的守城名将。
正当阎锡山誓师讨奉的时候，蒋介石和汪精卫闹了一场“分流”又“合流”的勾心斗角把戏。蒋介石于1927年8月假意下野，跑到日本躲了些日子，于1927年11月10日从日本回到上海。原来不少国民党人看到蒋介石走后无人能够解决国民党内部的分裂混乱局面，纷纷电请蒋介石回国复职，出面收拾混乱的残局。蒋介石在这次访问日本时办成了两件大事，一是征得宋太夫人同意他与宋美龄的婚事，二是得到了日本方面对北伐的理解和支持。
蒋介石发动“四一二”政变一个重要的原因，就是争取英美日各国的政治支持和经济援助。当时在中国如果没有外国政治和经济的援助，是不可能掌握政权的。蒋介石一旦离开苏联的援助，就必须寻找新的援助国，蒋介石把眼光转向英美日等资本主义国家。由于孙中山先生力行“联俄联共扶助工农”的政策，国民党和苏联的关系太深，而且没有苏联的大力支持，北伐战争也不可能进行。有资料显示，苏联对国民党政府提供了高达数百万美元（当时价格）的军事援助。当时的中国极其贫穷，各个军阀并没有多少钱购买军火，而资本主义国家的军火商，决不会象苏联那样提供无偿的军事装备，所以苏联的援助使北伐军的装备大大高于各个军阀的部队。比如大军阀之一张宗昌的部队，有三分之一的人没有枪，连军服也长年不更新，士兵们一个个蓬头垢面，还有很多人连鞋都没有。在这样的情况下，如果只是平和地表示与共产党分手，未必能消除英美日等国对国民党反共之诚意的疑虑。所以蒋介石一不作二不休，用共产党人的鲜血来换取西方列强的信任。果然西方各国对蒋介石的坚决反共大加赞赏，开始在政治上支持蒋介石，这也是蒋介石后来能够在国民党的多次内斗中取胜的一个重要原因。
在蒋介石离去的这一段时间，北伐军迟迟不进，使阎锡山和冯玉祥部都在奉军的攻击面前感到吃力，阎、冯二人都期望蒋介石能尽快复职，便联名请蒋介石回国，主持“北伐”战事。阎还另给蒋致电，表示“公留党在，公去党危，个人之去留事小，党国之存亡事大”，拥戴之情，跃然于纸。蒋介石利用这个机会，从日本回到上海，并派人到山西与阎锡山联络，直言不讳地告诉阎：北伐军之所以前进缓慢，让奉军得以逞强，主要原因是军令不一。应该建议政府委派一人负北伐的军事总责，才能统筹兼顾，行动迅速。阎锡山心领神会，于是在12月11日，与冯玉祥联名致电南京中央党部和国民政府，愿意拥戴蒋介石为国民革命军统帅，愿意接受统帅的指挥。同时，又联名给蒋介石发了一封电报，表示“所望我兄东山再起，主持军政”，“弟等当负弩前驱，愿听指挥”。 有了这一番铺垫，蒋介石理直气壮地返回南京，复任国民革命军总司令。打出“继续北伐”的旗帜。不过此时的北伐，已经与原来的北伐有了天地之差。“四·一二”反革命政变之后，原来支持各路军阀的西方帝国主义国家都转而支持蒋介石。蒋以北伐之名，主持改编军队，成立了四个集团军：第一集团军由蒋兼任总司令；第二集团军由冯玉祥任总司令；第三集团军由阎锡山任总司令；第四集团军由李宗仁任总司令。1928年3月，各集团军出兵讨奉。阎锡山的第三集团军沿京绥线及京汉线以西地区前进，直攻京、津。
有了各路大军的相互配合，晋绥军北上、东进都很顺利。一路上攻下石家庄、保定、张家口等重镇，形成左、右两路对北京夹攻之势。奉系军阀原本就是日本人一手扶植起来的，随着其势力的不断扩大，与日本势力在东北的扩张发生尖锐的矛盾。加上英美势力向东北的渗透，奉日之间的矛盾日益激化。张作霖没有满足日本修建铁路和自由出借东北土地等要求，反而引进英美资金，修建铁路和港口，这就引起日本的极大不满。在各路大军围攻下，张作霖见大势已去，于6月4日乘火车返回东北时，被日本人埋设的炸药炸死在皇姑屯。奉军失去统帅，陷入自身难顾的混乱状态，京、津已经失去了防守。6月8日，阎锡山的队伍顺利开进北京。阎锡山占据北京的行动，先前已经得到了蒋介石的默许和支持。蒋当时认为阎锡山没有“倒戈”的劣迹，把京、津交给他比较放心。因此，蒋亲自出马，先是在河南与冯玉祥会晤商量，又到河北石家庄与阎锡山见面。此时，冯玉祥的部队已经有九个集团军之多，仅嫡系就有40万�