后来，刘裕派人追击苟延残喘的桓玄，在峥嵘洲大败之。义熙元年正月（405），刘毅等到达江津，破桓谦、桓振，收复了江陵。晋安帝司马德宗也到达江陵，下诏历数桓玄罪状，竭力称赞刘裕平定桓玄之乱中所立下的功绩，并封刘裕侍中、车骑将军，都督中外诸军事，使持节、徐青二州刺史如故。这样一来，刘裕的权力大大增强，很有些一人之下万人之上的意味了。
北伐南燕刘裕很狡猾，故意作出谦让姿态，他表示不能接受如此重职，要求归藩。晋安帝当然不许，又是让百官奉劝，又是亲自到刘裕家中说服，刘裕还是拿定主意不干。结果晋安帝只好让他镇守丹徒，“改授都督荆、司、梁、益、宁、雍、凉七州，并前十六州诸军事，本官如故。于是受命解青州，加领兗州刺史”。其实，刘裕这时已掌有实权，声望也很高，皇帝只是傀儡了。不过，刘裕心里明白，要想取而代之，自己来当皇帝，仅仅靠立功于东晋境内还不足以服众，要树立更高的威信只有北伐。
东晋历史上，北伐向来是权臣立功业的好机会，除祖逖北伐没有私心，一心只想收复失地，统一河山外，其余的庾亮、庾翼和殷浩、桓温的北伐都带有借此建功立业，扩大势力影响的意图，刘裕当然也不例外。
义熙五年（409）二月，南燕王慕容超大掠淮北，阳平太守刘千载、济南太守赵元都被其抓去，数千家百姓被掳掠，边境再次告急。
刘裕正想出师北伐，于是上表皇帝，主张北伐，朝廷同意了他的要求。
四月间，北伐军从淮入泗，五月就到了下邳。
听说东晋刘裕率军北伐，慕容超慌忙会见群臣，商讨对策。侍中、尚书，领左卫将军，当时主掌朝政的公孙五楼建议说：“吴兵（指东晋兵）轻果，所利在战，初锋勇锐，不可争也。宜据大岘，使不得入，旷日延时，沮其锐气。可徐简精骑二千，循海而南，绝其粮运，别敕段晖率兗州之军，缘山东下。腹背击之，上策也。各命守宰，依险自固，校其资储之外，余悉焚荡，芟除粟苗，使敌无所资。坚壁清野，以待其衅，中策也。纵贼入岘，出城逆战，下策也。”（《晋书·慕容超传》）公孙五楼这几条建议都是知己知彼的可行之策，可是慕容超没有接受，他逐一驳斥了公孙五楼的建议，他认为自己“据五州之强，带山河之固，战车万乘，铁马万群”，只要“徐以精骑践之，此成擒也”。慕容超的狂妄自大，导致了南燕军的失败。
这年夏天，刘裕军抵达东莞。慕容超恰恰采取了公孙五楼所说的下策，派左军段晖、辅国贺赖卢等六将领率步骑五万，进据临朐，而让刘裕军轻易地长驱直入，过了岘。刘裕入岘后，心中不免得意，举手指天说：“吾事济矣！”
六月，慕容超派公孙五楼小广宁王贺赖抢先占领了临朐城。待刘裕大军压境，便只留老弱兵力守住广固，其余兵力全部用来抵抗刘裕大军。临朐城旁有巨蔑河，离城大约有四十里地。慕容超警告公孙五楼说：“急往据之，晋军得水，则难击也。”五楼觉得有理，急忙向巨蔑水进发，谁知晋军龙骧将军孟龙符已抢先一步，占据了此要害之地。
晋军有车四千辆，分成左右两翼，车上都一律用布遮挡，御车者手中都持着长矛，又以轻骑作为游军。晋军军令严肃，行伍齐整。还没等晋军抵达临朐城时，南燕军铁骑万余，前后交至。刘裕急忙命令兗州刺史刘藩、参军刘怀玉、索邈等，合力奋击，同时又命令谘议参军檀韶直趋临朐。檀韶率建威将军向弥急驰临朐，当日陷城。斩慕容超部牙旗，获辎重。慕容超听说临朐已被晋军攻下，只好率残部逃走。刘裕亲自击响战鼓，鼓声咚咚，慕容超部众溃散奔逃。慕容超逃往广固。良马、辇车、玉玺、豹尾等皆被晋军缴获，送往京师。
第二天，晋军赶至广固，克之。慕容超退保小城，在城周边设长围以防守。围高三丈，外设三重堑。
七月间，刘裕被朝廷任命为青、冀二州刺史。人心更加归向，连慕容超的大将垣遵、垣苗也率众前来归顺。刘裕心中很是得意。不料有人讽刺他说：“你不得张纲，何能为也。”张纲是慕容超的尚书郎，“其人有巧思”。刘裕进攻慕容超时，他被派往姚兴处，以称藩为条件，乞求姚兴出兵援救。姚兴表面上表示愿助一臂之力，而实际上却畏惧刘裕，根本不敢发兵。张纲无奈，只好返回，在半路上被泰山太守申宣抓住送给了刘裕。刘裕把张纲囚在车中，让慕容超守城的将士看，结果城内守军莫不惊慌失色。
刘裕命令张纲加紧制造攻城的器械，慕容超求救姚兴不得，反使张纲被俘，于是心灰意冷，失去了与刘裕抗衡的信心。他提出向东晋称藩，求割大岘为界，献千匹良马以讲和，刘裕当然不答应，更加日夜加紧攻城，河北人民也荷戈负粮，纷纷前来援助晋军。
不久，张纲攻城器械制造成功，“设诸奇巧，飞楼木幔之属，莫不毕备，城上火石弓矢，无所用之”。
义熙六年（410）二月，广固城终于被晋军攻下。慕容超逃跑时被抓，被送往建康斩首，南燕王公以下数千人被俘，南燕灭亡。
刘裕之所以能较为顺利地灭掉称霸一时的南燕，有主客观方面的原因。
客观原因是：南燕政治状况不好，史称“超不恤政事，畋游是好，百姓苦之”（《晋书·慕容超传》）。慕容超为人也刚愎自用，听不进他人意见。公孙五楼对于东晋北伐的几条对策应该说是有道理的，可他却根本不愿采纳。另外，刘裕北伐却是顺应了民心，刘裕攻广固城时，河北民众前来援助，日以千计。民心所向对于这次击败南燕起了很大作用。加上东晋军队素质尚可，士气高涨，武器精良，供给充足。主观原因是，刘裕本人有丰富的作战经验，是不可多得的将才，而且比较有谋略，他攻广固城时，姚兴托人带话给他说：“慕容见与邻好，又以穷告急，今当遣铁骑十万，迳据洛阳。晋军若不退者，便当遣铁骑长驱而进。”刘裕接到口信后处之泰然，说：“告诉姚兴，我定燕之后，息甲三年，当平关、洛。今能自送，便可速来。”结果，旁人都替刘裕担心，害怕会激怒姚兴，刘裕宽慰他们说：“此是兵机，非你们所了解。兵贵神速，如果姚兴真要来救慕容超，一定会怕我先知道有所准备。现在他故意派人告诉我，不过是见我伐燕，心怀畏惧，虚张声势吓唬我们罢了。”从这件事可以看出刘裕确实是有勇有谋的。其次，刘裕每次作战都能身先士卒，冲在最前面，甚至亲自鸣击战鼓，一个将帅能做到这些，对鼓舞士气当然会起到很大作用。再次，刘裕能听取他人意见。刘穆之才华谋略不及刘裕，但他间或有可取意见时，刘裕都能采用。有了以上这些主客观有利条件，刘裕当然是必胜无疑了。
北伐后秦义熙十二年（416）八月，刘裕又一次率军北伐，攻打后秦。这次北伐，兵分五路。新野太守朱超石、宁朔将军胡藩趋阳城；龙骧将军王镇恶、冠军将军檀道济趋许、洛；建威将军傅弘之、振武将军沈田子趋武关；冀州刺史王仲德，由巨野入河；建武将军沈林子、彭城内史刘遵考，自汴入河；九月，刘裕自己率所部驻扎彭城，加领徐州刺史。
各路大军进展都很顺利，史称“望风降服”。十月，众军到达洛阳，包围了金墉，姚泓弟弟平南将军姚洸归降。晋军修复晋王陵，置守卫。
这时刘裕认为自己功劳甚高，便派左长史王弘还建康，“讽朝廷求九锡”（《资治通鉴》卷一一七，《晋纪》）。这时，刘裕的心腹刘穆之正在建康掌留任，看见刘裕居然如此无赖，感到为他羞愧，因之发病而死。这年十二月，朝廷见刘裕功高难治，只好下诏以刘裕“为相国，总百揆、扬州牧，封十郡为宋公，备九锡之礼，位在诸侯王上，领征西将军，司、豫、北徐、雍四州刺史。”刘裕原先让王弘还建康求九锡用意大概是想探探朝廷态度，现朝廷果然能如他的意，他反倒感到自己有些操之过急了，所以没有敢接受朝廷之封。
义熙十三年正月，刘裕以儿子彭城公刘义隆镇守彭城，自己则率水军入河。北魏步骑十万，占据河津，刘裕命诸军渡河击之。七月，刘裕由洛阳到达陕城。八月，扶风太守沈田子大破姚泓于蓝田，王镇恶也攻占了长安，活捉了姚泓。九月，刘裕也到了长安。当时长安城内物资丰富，币藏盈积。刘裕将一部分浑仪、土圭等献给朝廷，其余珍宝珠玉则分给将帅，他还在长安谒汉高祖刘邦陵，大会文武于未央殿，很有些以光复故土的救世主自居。本来，刘裕完全可以乘胜前进，平定陇右，恢复晋疆域，可是就在这紧要关头，他却宁愿功亏一篑，留下十二岁的儿子刘义真为安西将军，镇守长安，自己却匆匆返回建康。
刘裕停止北伐，虎头蛇尾，使关中父老非常失望，因为长安自316 年被匈奴人刘曜占领，人们盼望汉家军队的旌旗，已经一百多年了。因此，当时“三秦父老，闻裕将还，诣门流涕诉曰：残民不沾王化，于今百年。始睹衣冠，人人相贺。长安十陵，是公家坟墓，咸阳宫殿，是公家室宅，舍此欲何之乎！”（《资治通鉴》卷一一八《晋纪》）对刘裕的心事，有人倒看得明白，认为刘裕将“关中形胜之地，而以弱才小儿守之，非经远之规也。狼狈而还者，欲速成篡事耳，无暇有意于中原”（《晋书·赫连勃勃载记》）。事实的确如此，刘裕之所以匆匆南归，是因为刘穆之病死，他怕此时朝廷会有人趁机夺权，所以急忙赶回建康。他对夺取东晋皇帝宝座已是急不可耐了。废晋建宋这时，整个东晋王朝可与刘裕对抗的几乎没有谁了。比如刘毅，与刘裕同时起兵反对桓玄，被称为北府兵三强（刘裕、刘毅、何无忌）之一，刘毅“自谓京口、广陵，功业足以相抗，虽权事推公（指刘裕）而心不服也。毅既有雄才大志，厚自矜许，朝士素望者多归之”。刘裕既知刘毅不肯俯就在自己门下，“终为异端”，于是“密图之”。刘毅假装病重，上表求以从弟刘藩为自己的副职，刘裕亦假意允许。九月，刘藩入朝，刘裕下令将刘藩及刘毅的追随者尚书仆射谢混抓入狱中赐死。然后亲自率军讨伐刘毅。不出一个多月，刘毅就兵败被杀。
除了刘毅敢与刘裕抗衡外，还有一个叫诸葛长民的人，他也是与刘裕一同起兵抗击桓玄的，所以在北府将官中，资格不低。刘毅被杀后，诸葛长民感到自己处境危险，对自己左右感慨道：“昔年醢彭越，今年诛韩信，祸其至矣。”于是开始“将谋作乱”，刘裕召他到建康，他每每托故不行。后来刘裕设计骗来诸葛长民，将他和弟弟诸葛黎民一块杀死，算是解除了自己又一隐患。
刘裕既铲除了异己，而且东晋朝廷这时也没有能力控制局面，刘裕威望、权势与日俱增，连北魏崔浩也认为“刘裕奋起寒微，不阶尺土，讨灭桓玄，兴复晋室，北禽慕容超，南枭卢循，所向无前，非其才之过人，安能如是乎！”（《资治通鉴》卷一一八《晋纪》）
刘裕不仅以武功显赫于当时，而且在一些政治措施上，他也很有建树，这些为他日后称帝打下了基础。