地没有是非，只有成败。整个世界都充斥着盗贼，我还有什么话可说的呢！黄兴辞去南京留守后，陈其美失去了南京的犄角之势，不能不辞去都督职务。程德全得到了袁世凯的财政支持，于1912年7月31日到上海接收了沪军都督府。于是，陈其美卸职下野，在一段时间内，躲在其表叔、湖州在上海的富商杨谱笙家里，哪儿都不去，十分消沉。
革命党人动员会党参加革命，起义之后，会党的破坏性处处表现出来，成为革命政府十分头痛的一件事。和议成立，全国统一之后，会党问题更显得十分突出。上海都督府虽然因为财政力量和控制能力比较强，会党成分的军队没有哗变和抢劫，但这些人也不免志得意满，花天酒地，招摇撞骗，败坏了都督府的威信。孙中山于5月间在广东发表演说，认为洪门（会党的一支）原来是反对满清政府的，是革命的先导；现在汉族已经光复，洪门就应该改变立会的方针，支持民国政府。他主张洪门应该把自己的秘密规矩公开化，进行改良，避免外界的猜忌，遵守法律，避免祸患，与社会和平相处，爱护国家，也为国家所爱。6月间，应桂馨很乖巧地顺应政治人物改良会党的愿望，在上海发起青帮、红帮、公口三帮组织共进会。他在致都督陈其美的呈文中说得很漂亮：“组织纯粹民党，实行取缔会员，各处支部成立后，不准在外私开香堂、另立码头，剪除其旧染之习惯，免致与民国法律相抵触。总期立图改良，维持国内和平，增进国民道德。”也就是说，他要把会党改组为合法社会团体。陈其美对共进会的成立表示支持，并在6月23日发布的《中华国民共进会广告》中列为发起人的首席。他后来回顾这件事说：当时我也赞助成立共进会，因为青红诸帮，在革命时出力不少，把他们从黑暗的环境下引导到光明的世界，取名“共进”就是采取这一主义。7月1日，共进会开成立会，应桂馨任会长。但三帮并没有取得一致，其他派系的人退出了共进会，共进会也成了应桂馨操纵的工具。应桂馨后来为共进会辩解说：“同盟会自合并国民党后，即将从前分子之青红帮等置之脑后……前清时共图革命，今国民党只顾自己做官，且反对青红帮，故设会保护他们，使有法律保护。”话说得冠冕堂皇，也有部分实情。程德全为了安定社会，任命应桂馨为江苏巡查长。后来，共进会转移到浙江肇事，引起浙、苏两督政策分歧，惹下了很大的麻烦。宋教仁、陈其美也先后为会党成员暗杀，会党成员朝三暮四，非常不可靠，利用会党的结果也损害了自己。会党问题是一个很复杂的社会问题。陈其美利用会党革命，只是一个突出的典型事例，在整个民国史上，有形形色色的各种故事发生。