用自己家的人，这样他才能够把握住整个国家的大局，不致再弄得大乱。于是他就在孩子们当中挑选了谢玄，这时的谢玄正是34岁。谢玄有才干，性格也让他放心，而且谢玄又当了这么多年的司马，对军队里的事儿十分熟悉，无疑是最合适的人选了。
另一个疑问，他为什么非要自己来提议，而不是请别人替他说话呢？
这件事看起来真是不太正常，因为这种事早就有十分惯用的办法了。按常理，谢安就该授意一两个亲近些的官员，由他们来大肆称赞谢玄一番，最好是一唱一和，然后谢安再假装谦虚，假意征求百官的意见，最后一看没啥反对的，就半推半就地表示一下儿：啊，既然大家都这么信任他，那就让他出来接受接受考验吧……于是这事儿就办成了。
这是古今官场最惯用的小伎俩了。但谢安偏就不这么做，宁愿被人们指责，也要自己来说。那为什么呢？这就是谢安性格中一个很重要的方面——不结党援，不事虚伪。
谢安一生都是一个追求真性情的人，他也十分欣赏这种“有真情”的人。哪怕你啥正经事儿也干不了，但你有真情，不虚伪，他就会喜欢你，甚至护着你，比如他那个好弟弟谢万。而那种暗地里的苟且勾当，他是根本不屑于去做的。其实这一点，也正是我们历来的文化人这么推崇他的真正原因。谢安虽然在官场周旋了26年，而且处境一直都比较困难，但他却始终没有干过一件苟且的事。这可真是太难啦，以官场的卑劣阴险，能够鱼游其间，并成就辉煌，却不沾染自己的品质，这几乎就是不可能的，但到了谢安这里，这件事居然变成了现实。所以我们这些既想成就大功业，又还想保持住内心高洁和尊严的文化人们，才会对他着迷如此啊。
谢安就是毫不动摇地推举了谢玄，你们爱怎么说就怎么说吧。大家虽然都不反对他，但也不免私下里议论。看来这人的好名声，还真不是那么轻易就能得来的，谢安如此“众望所归”，出了这么一点儿小问题，大家还都不依不饶呢。而十分出人意料的是，这个时候，一向与谢家为敌的郗超，居然跑出来说话了。他曾经跟谢玄一起在桓温手下共事，对谢玄还是很了解。也许是他觉得以往对谢安太过份，但谢安并没有因此记恨他，并没有回过头来整他，心里有些愧得慌了？或者他就是觉得谢玄很有本事？
反正不知出于什么原因，大家正议论呢，郗超却忽然说，谢安违众举亲，这是有识人之明。谢玄肯定会不辜负他叔叔的推举的，他是个有才干的人哪。人们一听，也觉得奇怪，这郗超什么时候竟来替谢家说话了？不过，郗超的话，虽然也起了不小的作用，但仍然有人不以为然。这个不声不响的谢玄，谁知道他有什么真本事？郗超一瞧还不行，又说，我跟谢玄当初一起在桓公府的时候，就知道他很懂得用人之道。从别人一点点小事儿上，他就能判断出这个人最适合做什么，所以我才知道他是大才呢。郗超这么有理有据，大家才不说话了。他也由此留下了不以私怨而废国家大事的好名声。不过这其中，很可能又是我们谢太傅的为人起到了作用噢。
于是，经过这一番周折，谢安终于任命谢玄当上了兖州刺史，并征拜他为建武将军，领广陵相，监江北诸军事。而从此后，我们谢玄将军一直作为叔叔最得力的助手，一生戎马，转战江淮之间，“每有征事，辄请为军锋”，为国家守卫京师。直到谢安去世的前一年，他也没有打过一次败仗。于是，人们后来都这样称赞，当年谢相这个“举贤不避亲”，真是做得对呀……
无比及时的“王牌军”
谢玄领下兖州刺史，谢安和司马曜也对下游的军事部署进行了重新划分，实际上，随着谢玄回到下游，东晋就开始进入了真正的战备状态。来瞧下游现在的格局，谢安以司徒，都督扬、豫、徐、兖、青五州诸军事，总摄下游；王蕴以徐州刺史，督江南晋陵诸军事（江南哪儿有什么军事，这王蕴正一心想要躲开那些出风头儿的事来“避嫌”呢，倒正好乐得自在）；谢玄以兖州刺史，镇广陵，监江北诸军事（这时，谢玄资历还不行啊，所以还只能是个“监”）。那么实际上，“建康的生死存亡”这副天大的担子，就全都落到谢安和谢玄肩上来了。
谢安真是捏着一把汗哪，谢玄这孩子，虽然是他最看好的，但是谢玄真的能扛住吗？但能够做到现在这样，已经是费尽了苦心，再没有更好的办法了。那么还是那句话，扛不住也得扛。宁死在疆场上，也不能关键时刻掉链子。于是，谢安叮嘱谢玄，到了广陵，什么事儿都不要干，赶紧组建北府兵！谢玄领会了谢安的心思，没有一句多余的话，立即动身，赶奔广陵去了。
不容否认，这支北府兵的组建，也真是一个奇迹啊。谢玄领兖州刺史，是在公元377年的十月，然后他迅速地招募勇猛善战的将领，撑起这支军队。而第二年的四月，北府兵就在谢玄的指挥下，首次出现在了江淮战场。从开始组建到第一次出战，谢玄仅仅用了6个月的时间！然后又仅过了8个月，前秦就从东西两线同时发起了全面进攻。上游桓冲被压制，退守长江，秦军主力就开始转移到下游，局势一度十分危急，以至于谢安开始在建康布防。这时谢玄率军再度出战，先解救彭城，然后十分漂亮地4战4胜，以5万北府兵歼灭秦军14万人，彻底击败了前秦这一轮的强大进攻，前秦主将彭超单身逃回后，畏罪自杀。而这时，距离谢玄到广陵上任，也才只有1年半的时间！
我们后人这样轻松地看回去，也不由得感叹，北府兵组建得多么及时啊。不然，不用等到淝水，就这一回，建康也就差不多了。（关于北府兵的出战和淮南大战，后面还要说到）
稳住了天下的“筹码”
北府兵的建立，是谢安实现他的战略的最后一步，而这一步，也几乎就是决定性的啊。对于东晋，它几乎有着扭转乾坤的意义：
第一个，它让东晋终于实现了真正的“上下相安，荆扬相衡”。现在，桓冲有１０万左右的荆州军，而谢玄也有１０万左右的北府兵。如果长江是个天平的话，那这两边的砝码就差不多了。就算北方没事儿，你荆州再想像当年王敦、桓温那样沿江而下，直逼建康，可就得先好好掂量一下儿。桓家近二十年来对朝廷的威胁，到这个时候，才是彻底地消除了。
第二个，它让国家的内部再不互相牵制，大家都把最精锐的力量用来保卫国家。原来桓温北伐，一边儿盯着朝廷，一边儿盯着北方，该进军的时候犹豫，伐完了也不想好好守；朝廷这边儿呢？则是表面上满口的支持、褒奖，骨子里却战战兢兢，得不支持就不支持。而现在，桓冲谢安各管一边儿，还经常会相互援助一把，谁也不再把心思用在你争我夺上，大家心里都堂堂正正，这才是淝水之战得胜最重要的保证。
正像王夫之所评论的：谢安组建的这支北府兵，无论是对外，还是对内，都具有长远的战略眼光，真可谓是一举两得啊……
强大从何而来？
一：精良的兵源
那么说到这里，就不免有个疑问了，北府兵为什么能这么快就建立起来？而为什么战斗力又能这么强呢？
这就得先从“广陵”这个地方说起了。“广陵”就是我们现在的扬州市。那时，大家习惯上把广陵对岸的京口称为“北府”，所以就把谢玄建立的这支军队叫做“北府兵”。广陵对建康的意义可是非同小可噢。
一方面，它是建康的东大门，北方的人要想从东路攻破长江天险，占领建康，就必须先牢牢控制广陵，这样才能顺利渡江。
另一方面，刚才我们说过，这北方人要进入建康，必经广陵，那么就不光是侵略者，连北方的流民百姓，也要走这条路。从东晋一建立开始，北方失去了家园的汉族百姓们，为了躲避残酷的战乱和外族人的压迫，就举家举村地艰苦跋涉，向南迁徙，毕竟那里才是自己的国家呀。而且比起北方来，南方要安定得多。于是，这些老百姓就渐渐聚集到淮河、长江这一带的地方，朝廷每隔一段时间，就得迁徙一批百姓过江来，进行安置。但即使这样，流民仍然在大批地涌来，想一下儿都解决，根本就是不可能的事。于是这些流离失所的百姓，为了生存，就往往在南迁的过程中，结成一个个的集团，这些集团，虽然有大有小，但都有组织，有领导，还有自己的武装。虽然装备不怎么样，但也不是可以随便欺负了。而广陵，就恰恰是这些流民集团最集中的一个地方。
为什么谢安会对徐兖二州这样重视，无论如何也要从桓冲手里要回来？一方面是广陵的地理位置无比重要，而另一方面，就是广陵这些流民百姓们，恰恰正为北府兵的建立提供了既精良又充足的兵源！
于是，我们的北府兵就由这些饱经磨难的老百姓们组成了。这些人个个都满怀家仇国恨，一门心思地想打回老家去，而且，经过这么多年的残酷历练，也几乎人人都练出了一副好身手。你不用特别地训练，他们自己就知道怎么去对付敌人。那么这做统帅的就省心多了，但十分重要的是，你要能把这些人团结起来，稳定住全军上下的心，让他们顺顺当当地听从你的指挥。从后面来看，这一点，我们谢玄将军还是做得很到位啊。
二：从“自谋生路”到正规军
这个可是十分重要噢，这么短的时间，为什么从将领到士兵，都这么听谢玄的话？因为他们从这里面得到了好处！而这个好处，名义上是国家带给他们的，但实际看来呢，却是谢家带给他们的。所以他们才会这样支持谢玄啊。
先来瞧瞧士兵们的心思：
极不恰当的比一个，这就跟解放初期，我们政府收编土匪那意思差不多。其实那些当土匪的，哪一个不是穷苦老百姓，谁要不是活不下去，才不会去占山为王。人还都是并不愿意去杀人的。当时的流民集团也是一样，而且比土匪们的处境更艰难。他们靠什么活下来？打家劫舍可能不至于，但拦路抢劫却是家常便饭，好多时候，还是这拨儿流民抢那拨儿流民的。其实很多流民首领（这里有个词儿，一直把这些人称为“流民帅”），他们原来都是北方的武将，都还带着过去的部下，纵容手下抢劫实在稀松平常。我们“击楫誓中流”去北伐的祖逖将军，到了江南钱不够用，就曾习惯性地命人去干了一把，抢了一大堆好东西摆在家里。官员们瞧见，谁也没说啥。因为他们都了解，对于祖逖这样流民帅出身的将领，干这样的事儿是十分平常的，他们过江前，就得靠这个活着呀。
其实谁愿意过这样儿的日子？天天朝不保夕，不是抢别人就是被别人抢？对这些流民百姓来说，能被国家收编为正规军，那正是巴不得呢。首先解决了吃饭问题吧，穿衣问题当然也不用发愁啦，而且还冬天有冬天的，夏天有夏天的。更重要的是，他们再不用干杀人行抢的营生了，以前我差不多是“土匪”，可现在我就是国家军人了，以前打仗是为了抢劫，现在打仗是为了国家，谁不愿意过上这样堂堂正正的日子呢。所以，北府兵一组建，在士气上就占了上乘。相对苻坚淝水战前的“十抽一”，硬逼着百姓去当兵，首先就胜出了一筹。