北伐胜利以后，党中腐化分子及投机分子却违反民众要求，至人民之权利，则一无所获。而万民所望之党的‘三大’，其代表选举法及代表产生法，将近百分之八十之代表，为中央所圈定与指派，将本党民主制度之精神，蹂躏殆尽。本党曾反对段棋瑞之善后会议，以其为少数军阀政客所操纵。今本党最高权力机关代表之产生，亦与类似。按照此种办法，则所谓代表者，己完全丧失其意义。同人等对此违法之代表产生法，虽屡次提出异议，而主持中央者，竟充耳勿闻。为此，对此种之会誓不承认。”
改组派的这篇檄文，在国民党中掀起了大澜，不少反对或不满蒋介石的大会代表也提出辞呈表示抗议。３月１４日，中央大学学生、国民党员吴健带动一批党员到南京市党部请愿，要求召开全市党员代表大会，讨论出席“三大”代表的问题，人们高呼：“反对蒋委员长阴谋篡党夺权！”，“坚决反对蒋委员长包办操纵大会代表！”。南京市党部被迫同意在夫子庙大礼堂召开全市党员代表大会，大会由吴健主持，全市十个区党部的代表都参加了会议，在会议通过《反对非法的第三次全国代表大会案》后，忽然一群暴徒冲向主席台殴打吴健和其他主持人，紧接著大批军警赶来冲进会场，大打出手，打伤多人，并当场逮捕代表七人。这就是轰动一时的“三一四”事件。
“三一四”事件后，改组派的南京分会被暴徒捣毁，改组派在南京已无法立足，于是他们转移到上海，以法租界为基地，建立起“中国国民党各省市党部、海外总支部联合办事处”，继续进行反对蒋介石独裁专制的斗争。
国民党内反对蒋介石的除了改组派等文人团体外，还有很多军人将领。北伐胜利时，国民革命军共有８４个军，２２０多万人，这还不包括张学良的数十万东北军。如此庞大的军队，给国家造成了沉重的财政负担，对中国近代化构成严重的影响。当时中国的年度财政收入约４亿５千万元，除去１亿元用于偿还各种外债以外，实际可以动用的财政约３亿５千万元，其中３亿元为军事费用，占政府支出的８０以上。所以蒋介石在北伐胜利后提出裁军，本来是有充足理由的。
但蒋介石的裁军计划，却引起了很多国民军将领的强烈抵制，因为蒋介石要搞的裁军只裁旁系部队，却不裁他的直系部队。北伐时国民革命军有四个集团军，除了第一集团军是蒋介石的嫡系部队以外，第二集团军是冯玉祥的西北军，第三集团军是阎锡山的晋军，第四集团军是李宗仁、白崇禧为首的桂系部队。此外张学良的东北军，张发奎的粤军，唐生智的川军，以及一些地方上的杂牌军，都是非嫡系的旁系部队。这些旁系部队并非绝对服从于蒋介石，对于蒋介石的军事独裁显然是一种潜在的威胁，于是蒋介石想通过裁军来除掉不听从他命令的旁系军队。
蒋介石这个带有私心的裁军方案，当然引起各路旁系部队将领的强烈反对，蒋介石首先拿对他威胁最大的李宗仁桂系部队开刀，结果李宗仁害怕蒋介石暗算，于１９２９年２月私自潜出南京，脱离南京政府重返广西。在蒋介石召开“三大”之前，白崇禧又宣布辞职抵制蒋介石包办“三大”，拉开了桂系和蒋介石直接对抗的序幕。
在一片反对和抗议声中，１９２９年３月１５日，蒋介石在南京主持召开了国民党第三次全国代表大会。在这次蒋介石包办的大会上，通过了很多处分反对蒋介石之人的决议案。蒋介石在主席团报告中说：“今日讨伐叛徒，以国家论，是为讨伐叛将；以党论，即为讨伐反革命分子。此等叛党分子，应由大会开除其党籍。”结果大会通过李宗仁、白崇禧等人的“叛党乱国罪”，永远开除党籍，改组派领袖陈公博永远开除党籍，顾孟余开除党籍三年。对汪精卫则予以书面警告的处分，处分汪精卫的理由是“迹近纵袒弄兵，酿成广州共变”。
在“三大”结束后，蒋介石于１９２９年４月开始讨伐桂军，分兵三路进攻广西，与桂军经过几次激战，结果桂系军大败，６月桂军将领李宗仁、白崇禧逃往香港，第一次蒋桂战争结束。虽然蒋介石在蒋桂战争中取得了军事胜利，但在政治上却进一步陷入众矢之的。１９２９年５月，以改组派为核心、联合其他国民党的反蒋派别，在上海成立了“中国国民党护党革命大同盟”，唐生智、张发奎、李宗仁等地方实力派代表参加，阎锡山、冯玉祥也与之建立联系。
“中国国民党护党革命大同盟”发表宣言，呼吁恢复党权，“铲除叛徒蒋中正的一切势力”，“打倒盗窃党权政权的蒋介石”。宣言中还特别声明不承认蒋介石包办的“三大”，声称南京政府的一切命令与外交等皆无效力。“中国国民党护党革命大同盟”尊远在法国的汪精卫为领袖，号召“迎吾党领袖汪主席归国护党”，组织护党政府和护党革命军，直捣南京政府，肃清反动势力。
１９２９年９月１７日，张发奎在湖北打出“护党救国军”的大旗，发表《拥汪讨蒋宣言》，电请汪精卫回国：“主席回国方可对国内军事发挥号召力，对官兵之影响尤为重大。即使返国不能深入军中，亦可居香港以指导军事，策励士气。”在这种情况下，汪精卫决定回国抗蒋。临行前他与陈公博等人联名发表一篇《中国国民党第二届中央执监委员会最近对时局宣言》，历数蒋介石的十大罪状：“习于专制，私利是图，首内启本党之纠纷，复外援帝国主义及国内反动派以自固；啸聚群小，把持政权，摧残民众，排除异己”。汪精卫在这篇《宣言》提出五项主张：改组国民政府，筹备召开真正的“三大”，否认蒋介石包办的“三大”以及会上通过的一切决议案，否认蒋介石出卖国家经济权利的一切秘密文件。汪精卫说反蒋运动是“一常厚主势力与封建势力的大决战，广大党员应奉献自身于民主势力，将血作水，以溉民主势力之根，将身作肥料，以沃民主势力之果。”
当时中国除了政界、军界掀起强大的反蒋运动外，在学术界也引发了民主与独裁之争。胡适在１９２９年蒋介石发表训政的“约法之治”后，发表了著名的“人权与约法”的文章，指出国民党政府作为中国民众的代言人，进行独裁的“约法之治”，违反了人民的基本人权。胡适主张首先建立保障人权的宪法，开放“党禁”，实施多党政治，建立一个“以法治国”的人民参政国家，而不是“以党治国”的一党独裁体制。
胡适这样的批评并不局限于蒋介石，还牵扯到了孙中山，在学术界与钱端升等专制拥护派学者进行了激烈的笔战。但胡适提倡的人权思想并没有在国民党政界引起共鸣，国民党内的民主派汪精卫等人虽然主张实行党内民主，但并不主张立即放弃国民党一党专政而搞西方式的多政党体制。胡适的民主思想实在走得太远了。
１９２９年１０上旬，汪精卫来到香港，使改组派和“护党救国军”的精神大振。然而汪精卫曾经在１９２７年带头反对过桂系李宗仁、白崇禧等人的“特委会”，所以双方有很大的隔阂，但这次为了反蒋的共同目的，双方重新言归于好。汪精卫回国后，以“中国国民党第二届中央执监委员联席会议”的名义发布命令，对各路“护党救国军”发出委任状和番号。其中第一、二路的番号留给阎锡山和冯玉祥，张发奎、唐生智、石友三、胡宗锋、何键、李宗仁，分别委以第三、四、五、六、七、八路军总司令。他一人统领六路反蒋大军，一时声势极盛。
但这只七拼八凑的队伍内部矛盾错综复杂，指挥不灵，步调不一。不到半年，汪精卫的六路反蒋大军很快被蒋介石各个击破或收买瓦解。虽然汪精卫的南方反蒋军队失败，但北方冯玉祥和阎锡山的反蒋军队，并非汪精卫的六路反蒋军那样的乌合之众，而具有相当的战斗力。１９３０年初，阎锡山联合冯玉祥和李宗仁组成反蒋联军，１９３０年４月１日，阎锡山在太原宣誓就任“中华民国陆海空军总司令”，冯玉祥、李宗仁分别在潼关、桂林宣誓就任“中华民国陆海空军副总司令”。三个司令部下辖七十余万军队，组成八个方面军向南京围攻，浩大的“中原大战”爆发了。
“中原大战”爆发后，阎锡山电请汪精卫北上主持党务。在阎、冯等人的发起下，改组派和西山会议派等反蒋各派，在北京联合成立了“中国国民党中央党部扩大会议”，汪精卫被奉为“扩大会议”的领袖。本来左倾的改组派和右倾的西山会议派是势不两立的对头，然而双方在遭到蒋介石的排斥打击后，深感只有团结一致，才能对抗蒋介石的军人独裁。于是双方暂时摒弃前嫌，握手言和。
１９３０年８月７日，“中国国民党党部扩大会议”在北平中南海怀仁堂正式召开，汪精卫、陈公博等人的改组派、谢持、邹鲁等人的西山会议派，以及阎锡山、冯玉祥等人的军事实力派参加了会议。会议由汪精卫主持，颁布了《国民政府组织大纲》，宣布成立国民政府，阎锡山当选政府主席。在领导分工上，汪精卫主党，阎锡山主政，阎锡山和冯玉祥共同主军。
在中原大战中，蒋介石军队和阎冯联军都损失惨重，双方共有３０余万人伤亡，为中华民国建国以来的首次恶战。此时决定战局的胜败就在于张学良的东北军，东北军加入哪个阵营，就会使哪个阵营取得胜利的主动权。所以蒋介石和阎冯等人都在拉拢张学良，阎锡山给他送来中华民国陆海空军副总司令的委任状，蒋介石也送来了同样的委任状，还同时将数百万元巨款汇至沈阳，但张学良在中原大战初期一时间持袖手旁观的中立态度。
１９３０年９月，战局向有利于蒋介石军队的方向发展。９月１７日，张学良发出了拥护南京中央政府的声明，派东北军入关，在十余天时间内先后接收了天津、北平和河北等地，使阎、冯联军处于腹背受敌的困境，纷纷败退。１１月４日，阎锡山、冯玉祥见大势已去，联名发表通电声明“即日释权归田”，长达七个月的中原大战遂告结束。
阎、冯联军败阵后，１９３１年元旦汪精卫在天津发表下野声明，并准备宣布解散改组派，反蒋运动一时进入低潮。此时蒋介石不仅任国民政府主席，又开始兼任行政院长，独揽国民党的党政军大权。但不久蒋介石因为软禁立法院长胡汉民，又引起了全国范围的反蒋大潮。
胡汉民本是与汪精卫一起最早参加同盟会的元老，但胡在１９２５年的廖仲恺被刺案中，因涉嫌而被迫出国。胡汉民回国后寓居上海“闭门读书”，不直接参与国民党的政事。１９２７年４月蒋介石请胡汉民去南京，共商反共之事，胡汉民欣然同意，第一次与蒋介石合作。１９２７年４月１８日蒋介石在南京另立国民政府，胡汉民出任国民政府主席，胡汉民以国民党元老的身份主持南京国民党中央党部，在关键时刻帮了蒋介石的大忙，�