等反蒋派松了一口气，８月１９日汪精卫代表武汉政府发表《迁都南京宣言》，汪精卫以为从此国民党就可以实现“以党治军”的文人领导，消除军人独裁的疾患。
但汪精卫却想错了，当时的中国是一个谁枪多谁发言权就大的强权社会，各路将军拥兵自重，汪精卫这样的文人政府根本无法对他们进行有效的管束，更不要说进行领导。蒋介石宣布下野后，支持蒋介石的人纷纷离开南京，南京又成为李宗仁、白崇禧桂系军人掌权的军人政权，所谓“才驱走虎，又来了狼”，桂系军人依靠手中的兵权，并不服从汪精卫文人政府的领导。孙中山是一个文人革命家，最早跟随孙中山干革命的汪精卫等人也均是文人政治家，没有效忠于自己的嫡系军队。作为文人政治家的汪精卫要想在枪杆子里面出政权的社会中搞民主政治，几乎是一种空想。
随著北伐的进行，国民革命军中桂系军队的势力大大扩张，但桂系在党内却没有什么地位，于是统治南京的桂系实力派把在上海的西山会议派国民党元老请来，帮他们在政府中撑腰。西山会议派是国民党中最早开始反共的一派，１９２５年１１月曾在北京西山碧云寺的孙中山灵前，召开过反共排共的西山会议，当时汪精卫主持下的广州国民政府在二届一中全会上通过了《弹劾西山会议案》，并宣布开除林森等１８人的党籍。
然而西山会议派并没有就此绝迹，他们仍在坚持活动。后来西山会议派迁往上海，在上海自行成立了国民党中央党部，和广州的正统国民政府相对立。在汪精卫和陈独秀发表国共两党合作的《联合声明》时，西山会议派的上海国民党中央党部，曾以国民党中央的名义斥责汪精卫的行为是“卖党、卖国之罪，愿与国人共弃之。”蒋介石在南京另立政府后，作出了恢复林森等１８人党籍的决议，但武汉的汪精卫政府并不承认这个决议，所以西山会议派对汪精卫耿耿于怀，极力反对汪精卫当国民党的领袖。
１９２７年９月１１日，武汉政府、南京政府和西山会议派的三方人士，在上海召开了宁、汉、沪三方中央委员谈话会，讨论宁汉政府合并和统一党务的问题。西山会议派的张继发言说：“既要统一党内各界同志，就要承认上海的中央党部，就要废除二届一中全会上的《弹劾西山会议案》。这个非法决议案是当时左倾路线的产物，必须宣布废除，否则怎么能团结统一党内同志？”
汪精卫反驳说：“中央的决议岂可任意废除，除非由将来的四中全会作出新的决议。”汪精卫的发言遭到宁、沪代表的强烈反对。李宗仁说：“我们迁都南京后，于６月７日宣布林森、张继等１８位同志恢复党籍的决议，所以才有今日统一党务的基础。汪同志，你也不必再坚持过去的决议了。”
汪精卫仍坚持说：“南京的决议我们武汉中央并不知道。现在我提议：西山会议派决不能参加二届四中全会，但为了团结同志，可容纳个人参加，不能容纳上海党部。二届四中全会必须在武汉召开，否则我们武汉的同志不参加会议。”这时宁、沪代表们开始翻汪精卫的旧帐，指责汪精卫反共不力，贻误了党国事业。宁方代表自称他们是反共的先进，而沪方代表则更标榜他们是反共先进中的先进，这使汪精卫不得不自责说：“武汉方面防范共产党过于迟缓，请求处分。”
在这种拔剑张弩的气氛中，孙科突然站起来提议说：“各位，兄弟提出一项折衷办法，由宁、汉、沪三方共同组织一个中央特别委员会，作为过渡，先使合作告成，然后再谋补救的办法。”孙科的折衷方案得到了大部分代表的同意，由于孙科是武汉方面的代表，汪精卫不好坚持反对，也勉强同意这个方案。
后来在桂系军人和西山会议派的操纵下，推举出１４名中央特别委员会代表，汪精卫虽然名列第一，但桂系军人和西山会议派的人占据多数，使特委会成为一个桂系军人、西山会议派、以及孙科等人的联合体，汪精卫、胡汉民、蒋介石等国民党中的重量级人物，均反对这个中央特别委员会。由于当时蒋介石和胡汉民均已下野，汪精卫也于９月１３日通电下野，表示抗议特委会。汪精卫从反对蒋介石军事独裁，又转为反对桂系的军人统治。
汪精卫下野后，桂系军人和西山会议派虽然靠中央特别委员会的名义执掌国民党中央政府，但他们在军事实力上无法和蒋介石相比，在党内的资历声望又无法与汪精卫相比，所以桂系军人和西山会议派的政权注定难于长久。汪精卫辞职后，张发奎、李济深等人，在广东召开了迎汪回粤大会，联名邀请汪精卫回广东指导革命。汪精卫于１０月２１日前往广州，然后于１０月３０日召集在粤的中委会成员开会，通电全国否认南京的特别委员会的合法性。汪精卫说：“中央执行委员会是党的全国代表大会选举产生的，非全国代表大会无权取消。成立特委会取代中委会职权，等于取消了中委会，不合党的法统和组织原则。”汪精卫邀集外地的中委会委员前来广州，在广州召开四中全会。面对汪精卫的攻势，南京的孙科等人也发出通电，坚持特别委员会不能取消，邀请各地中委会委员到南京召开四中全会。国民党又出现了宁粤分裂的局面。
就在宁粤双方对峙之时，蒋介石于１９２７年１１月１０日从日本回到上海。原来不少国民党人看到蒋介石走后无人能够解决国民党内部的分裂混乱局面，纷纷电请蒋介石回国复职，出面收拾混乱的残局。在南京的李宗仁桂系本来是反蒋的，但汪精卫公开反对他们的特委会后，使他们的政权已难于支撑，所以也表示同意蒋介石回来复职。蒋介石在这次访问日本时办成了两件大事，一是征得宋太夫人同意他与宋美龄的婚事，二是得到了日本方面对北伐的理解和支持。
北伐军１９２７年３月进入南京时，发生了针对外国人的暴行，为此英美军舰曾向南京城中炮击报复。１９２７年４月１１日，英美法意日５国向武汉和南京的国民党政府同时提出了通牒，要求国民政府正式道歉，惩罚责任者，以及对被害者进行赔偿。南京的蒋介石在列强提出通牒后的第二天发动了“清共”的４月１２日政变，作为对列强通牒的无言回答。本来西方列强对苏联支持下的国民党势力的迅速发展十分担忧，蒋介石的反共政变使英美日等以反共为第一国策的各列强，有了一块石头落地的安心感，所以没有再向国民党要求道歉和赔偿。
蒋介石发动“四一二”政变还有一个重要的原因，就是争取英美日各国的政治支持和经济援助。当时在中国如果没有外国政治和经济的援助，是不可能掌握政权的。蒋介石一旦离开苏联的援助，就必须寻找新的援助国，蒋介石把眼光转向英美日等资本主义国家。但由于以前国民党和苏联的关系太深，如果只是进行平和的分共，未必能消除英美日等国对国民党反共之诚意的疑虑。所以蒋介石一不作二不休，用共产党人的鲜血来换取西方列强的信任。果然西方各国对蒋介石的坚决反共大加赞赏，开始在政治上支持蒋介石，这也是蒋介石后来能够在国民党的多次内斗中取胜的一个重要原因。
在为什么会发生杀戮外国人的南京事件问题上，国外学者比较倾向于北伐军战士自发地发起反外仇外事件。当时北伐军战士在共产党代表的列宁“帝国主义理论”的教育下，相信中国的贫穷落后皆为帝国主义国家的侵略掠夺所造成，所以非常痛恨作为“侵略者”的外国人，自发地发起了杀戮外国人的事件。也有人认为南京事件是苏联的阴谋：由于当时蒋介石反共的迹象已经比较明显，苏联顾问密令在蒋介石军队中的共产党员挑动士兵杀戮外国人，这样就使蒋介石与西方国家的关系敌对化，从而断绝蒋介石投靠帝国主义国家的后路。但苏联人的计谋却起了反作用，不但没有阻止蒋介石投靠西方国家，反而促成了蒋介石彻底反共的决心。
蒋介石在１９２７年９月末到１１月初的访日期间，与日本首相田中义一，陆军大臣向川义则等政府要人进行了多次密谈。日方要求蒋介石承认日本在满蒙的特殊权益，履行孙中山以前的诺言（据说孙中山以前曾以满蒙的特殊权益作为日本援助中国革命的交换条件），蒋介石则要求日本不援助张作霖，支持国民党统一中国。最后双方达成协议：日本不援助张作霖，支持反共反苏的国民革命取得成功，承认国民党在中国建立政府，并保证向蒋介石提供一笔巨额借款。蒋介石则表示承认日本在满蒙的特殊权益，坚决反共到底。蒋介石访日期间还与美国驻日本的特使进行了会谈，得到了美国支持蒋介石为首的国民党政府的许诺，而蒋介石则许诺保障美国在中国的一切权益。蒋介石利用“下野”进行的外交活动，取得了日美等列强的政治经济支持，大大增加了他在国民党中的政治资本。
蒋介石一回到上海，就立即给汪精卫拍电报“负荆请罪”，毕竟汪精卫在党内有相当的地位威望，得到汪精卫的谅解才能顺利复职。蒋介石在电报中说：“此后党国重任，惟兄是赖。凡能于党国有益，则弟必尽我心力，依照兄之意图，不渝始终，以尽区区之意。若兄能来沪晤商一切，胜幸焉”汪精卫见蒋介石有诚意，就于１１月１６日乘船赴上海和蒋介石谈判国民党各派的联合问题。没有想到汪精卫一离开广州，张发奎等人就发动了一场倒桂政变，将桂系在广州的部队缴械，尔后张发奎指挥的粤军在梧州一带和桂军相持。共产党人则乘广州城内空虚之机，在叶挺、叶剑英的领导下于１２月１１日发动了广州暴动。
共产党的起义部队自称“红军”，和回师镇压暴动的张发奎第四军发生了激战，使广州遭到了极大的损害。李宗仁在回忆录中这样写道：共产党此次暴动，可说是毫无理性，烧杀之惨，实无前例。市民均被迫以红巾系颈，表示拥护红军，否则格杀勿论。张发奎等人以共党在后方捣乱，破坏其统一两广的大计，愤恨之余，遂也恣意杀戮。下令凡见颈系红巾的，即格杀勿论。人民分不出孰为红军，孰为第四军，只知有红巾亦死，没有红巾亦死。一时广州全市鬼哭神嚎，无辜人民被杀的不计其数。大火数日不绝，精华悉被焚毁。
广州暴动之后，全国哗然，一片声讨之声。张发奎等人见众怒难犯，均宣布辞职前往香港。而蒋介石派、西山会议派、以及桂系军人派则借机攻击汪精卫，他们说汪精卫和张发奎等人勾结共产党，蓄意制造了焚杀广州事件，甚至有人说汪精卫本人就是共产主义分子，一时间搞得汪精卫说不清辩不明。南京的特委会要求查办汪精卫，白崇禧甚至找上海的青帮头目杜月笙下绑票暗杀汪精卫。后来虽然查明广州事件和汪精卫并没有直接关系，但汪精卫作为广州地区的政府首脑难以逃避责任，于是汪精卫１２月１６日发表了引退政界的声明，和陈璧君一起前往法国。