这件事很困难。当时，我们一方面抓紧听取一、三办人员的汇报，了解情况，看他们写的简要材料；另一方面要翻阅大量档案。这些档案材料很多，一摞又一摞，堆积如山，有的档案材料，光一个人的，要看完它就要一个星期。而最困难的问题是“四人帮”的干扰。他们都是始作俑者，今天打倒这个人，明天打倒那个人，阴暗的报复心理和邪恶的野心驱使他们要打倒一切，整倒一切，要被打倒和整倒的人永不翻身。这已是有前例的。１９７４年下半年，周总理曾主持政治局会议，讨论一批要解放的老干部名单，政治局开会不下十次，都因“四人帮”的干扰、阻挠而没有结果。“四人帮”借口这个问题不清楚，那个问题不清楚，提出需要再查。政治局会议有时讨论一整夜，争执不下。后来，叶剑英比喻行军牵骡子过桥，提出先易后难的办法，也没有行得通。在一次会上，叶剑英很生气，提前退席了，留下打油诗《过桥》一首。叶剑英把这首诗给纪登奎还有李先念看过，他们又给我看了。这首打油诗写道：“一匹复一匹，过桥真费力，多谢牵骡人，驱骡赴前敌。”
“文化大革命”后期在解放干部问题上的一场斗争多谢牵骡人
这时解放出来的老干部，都是毛主席批示解放的。所以叶剑英说“多谢牵骡人”。在“四人帮”的阻挠和干扰下，没有毛主席的指示，一个也解放不成。再举一个例子。１９７５年，邓小平主持工作，在一次政治局会议上，邓小平提出“六十一个叛徒”的案件需要重新审查。１９３６年，我是地下党的中共北平市委副书记，了解当时的情况，因此就在政治局会议上把当时的情况介绍了一下。当时的抗日统一战线形势很好，抗日战争需要大批干部。同时，日本侵略者已剑拔弩张，铁蹄霍霍，即将占领华北，我党被关在北平监狱的干部有被杀害的危险。这样，就由北方局提出并经中央批准，允许被关押在北平草岚子监狱中的这些干部履行反动派要求的一定手续出狱（包括在报上发表反共声明）。当时是北方局的柯庆施与我们接头的，地点就在我家。柯庆施到后，向北平市委书记李葆华和我传达了经中央批准的北方局的决定，柯庆施要北平市委想办法找人打通狱内的关系。当时在监狱中的同志已经建立了党组织，负责人可能是薄一波同志。北平市委找到邢西萍（即徐冰同志，当时任中国大学教授，地下党员），要他想办法。
经他在上层活动，找到保外就医的孔祥桢同志（建国后曾任轻工部副部长）与狱中联系，传达党中央的决定。狱中的同志开始不相信，认为这是敌人的阴谋，坚决不出狱，多次做工作后，才一批一批地出狱，由北方局分配了工作。我当时曾接过殷鉴（后牺牲）、鲁奔（后牺牲）、刘慎之等出狱同志的关系。“文化大革命”初期，吉林造反派揪斗吉林省委代理第一书记赵林，发现他是在１９３６年履行反共手续出狱的，给他扣上了“叛徒”的帽子揪斗。当时，我刚调到北京，知道这些情况后，曾向周总理汇报了这些同志出狱的经过，周总理说他知道当时的情况。同时，我还向周总理反映了我在长春的家被抄，其中有我参加历次中央会议的记录本被抄去的情况。周总理批评我不把记录本带到北京，太疏忽。我记得周总理批发了两个电报：一个是发给吉林省委，要他们设法追回我被抄去的记录本；另一个是发给西北局和吉林省委的，大意是说明刘澜涛、赵林的出狱问题是经组织批准的，中央知道，如无别的问题，他们不是叛徒。其实，周总理代表中共中央批发的电报没有起作用。那时已经搅成一锅粥了，康生、江青等人为了打倒刘少奇，蓄意制造了这起大冤案。我把当年我所经历的情况在政治局会议上说了以后，江青变脸了，大声说：你们要给叛徒翻案啊！江青这么一闹，邓小平没法谈下去了，我也不能说了。因此，在这次清理专案工作中，我们想到“四人帮”肯定又会多方阻挠和干扰的。我们不能完全依靠原来的专案组，自己又不了解情况。在这种情况下，要求三个月内就弄清情况，作出结论、解决问题是不可能的，弄不好会把整个解放被关押干部的问题耽搁和拖延下来。如何是好？华国锋、纪登奎和我都很着急。我们将情况汇报给周总理，请示办法。周总理经过思索，与我们商量，提出这样一个原则，就是除陈伯达、王力、关锋、戚本禹、林聿时、周景方等十几个人暂时不放外（王光美案另议），其他的人都先放出来，结论由中央组织部和本人单位以后再作。这个处理原则经周总理报告毛主席同意了。
定下原则以后，处理有些具体问题还有难度。例如有中央文件决定的、毛主席批示的案件、人员，我们不好处理。我们又向周总理请示。周总理又同我们一起定了两条：一、毛主席批的、中央作有决定的，特别是由中共中央向全党正式发了文件的，办理时要慎重，暂不复查，但先把人放出来，然后再审议。二、凡是只有口供而无证据的，相信本人交代和申诉的意见，不必再纠缠。这样就可以解决一大批干部的问题。关于马明方同志的所谓在新疆叛变一案，公安部的于桑同志找到了当时新疆军阀盛世才审问马明方等同志的原始记录，从这个敌伪档案中可以看出，马明方等同志在敌人审问中坚贞不屈、大义凛然，是很有气节的。他不是叛徒而是很好的同志。“文化大革命”中有些所谓的证明材料，不足为凭。我们将马明方同志的情况上报周总理后，周总理指示应马上平反。可惜马明方同志被平反时已经在监狱中逝世了。还有北京市体委的所谓无线电案，也被平反了。在这中间，“四人帮”出来刁难，最会出鬼点子的张春桥振振有词地提出要我们搞出一个明确政策界限的文件。
我们斟酌来斟酌去，好不容易把文件写好，在政治局讨论时，仍因“四人帮”的百般挑剔而未获通过。我们只得又找重病在身的周总理请示如何办。周总理说：以毛主席批的２９个案例为根据，把毛主席批示解放干部的内容归纳列成条文，作为政策界限文件送政治局讨论，这样，别人（指“四人帮”）就不好说什么了。按照周总理的指示精神，我们写出《关于专案审查对象处理意见》和有关特赦的文件并附有这两个文件涉及的人员名单，先送了周总理审阅。
１９７５年３月５日，国务院办公室负责人吴庆彤打电话传达周总理的意见，周总理说：告纪、华、吴，对特赦文件、专案文件已审查同意。已告王洪文，把这两个并附名单的文件提到政治局讨论。政治局开会时，“四人帮”当然不会轻易放过，仍有挑剔之意。我们理直气壮地说明：这是归纳了毛主席批示的各种案例后写出来的。他们这才噎住，不吭气了，没有公开反对。这个文件经政治局通过后，报毛主席审批。文件送出，我们即将情况向汪东兴通报，提出这个名单我们批不了，要请毛主席批。汪东兴向毛主席反映说：解放这批干部，纪、华、吴几位政治局同志批准不行。毛主席对汪东兴说：那你批吧！汪东兴说他批也不行，谁批都不行，只有毛主席能批。毛主席考虑汪东兴的意见后，指示汪东兴打电话给纪登奎、华国锋和我，说毛主席看了报告，还要看各案的全部名单，要求我们很快地把所有人员的名单送去。我们好高兴，立即要一、三办搞出各专案人员的名单。
“文化大革命”后期在解放干部问题上的一场斗争周扬复出
名单搞好后，周总理要我们先送一份给毛主席，然后再送政治局同志。周总理说：这是毛主席急要的，毛主席没有批示之前，政治局不好讨论，政治局要等毛主席的批示。周总理的这个办法，绕过了“四人帮”。毛主席听读了所有名单和我们的意见后，于３月８日批示同意，批件退回中央办理。这次共放出干部３５０多人，加上牵连专案的干部获得解放的有六七百人之多。毛主席批示后，周总理又指示我们：人放出后，不要都堆在北京，有病的要好好治病，一般人可暂分到全国各地。周总理还要求我们写个报告，开个会，请各省来人交接，分到各省的同志以后再分别回京。周总理告诉我们，他已打电话给王洪文，由王洪文出面召集这个会，我们几个人参加。当时我的思想还有些不通，认为这些同志的家都在北京，刚放出来又马上分到外地去，有点说不过去。然而这只不过是常人之见，还是周总理考虑得深，这个办法避免了这些刚放出来的同志再遭“四人帮”的迫害，完全是出于保护的目的。在当时的历史条件下，周总理提出的这些与“四人帮”斗争的办法是颇费苦心的。有了这些办法，才能绕过“四人帮”的梗阻，得到毛主席的很快批准。如果不是先放人后审议，而是先审查后结论、再放人，必然遇到难以解决的问题，“四人帮”必定会借种种问题发难，从而推迟放人的时间。周总理这样处理是非常恰当的，也是同“四人帮”的一场智斗。
放人后，传来毛主席的指示，说可解散各专案办公室。汪东兴回到北京后，说还要留一些熟悉材料的人。不过我理解，毛主席关于解散专案办公室的指示，包括我们四个人的小组也要解散，这以后我就不去看材料了。只是汪东兴有时有批阅的文件和材料送来，我也在文件上划过圈。这些划圈的文件，如有错误的，事先虽未经我审查，我也应负责。十一届三中全会决定平反冤假错案是很正确的。这是我们想到而未能办到的大快人心的事。当时的“五一”和“十一”，报纸上都要刊登一个参加游园和国宴等活动的人员名单，这是周总理向社会传递一些老干部被解放消息的重要渠道。比如周扬，我们原来也是想让他在国庆节露面的。
周扬原来是被卫戍区监护的。江青是文化系统专案组的组长，文化界的一些人，如周扬、夏衍、阳翰笙等同志的逮捕报告、监护报告，都是江青批的，还有上海、天津的一些人也是江青批准关押的。现在我们要解放这些人，触着了江青的痛处，她就多次问我周扬有没有问题。我根据看过的材料告诉她，周扬没有什么问题，关于参加“左联”领导的事，在同党中央失去联系的情况下，周扬等同志那样做，没有什么不对，而且是只有在具有坚定的信念下才可以做得到。还有周扬没有被捕过。江青坚持说周扬的社会关系复杂。我说在白区工作，没有各种社会关系的掩护，不可能工作得好，夏衍的情况也是这样。江青认为周扬是文艺黑线的主要人物，有些问题还需要继续调查，并提出监狱空了把周扬由监护改送监狱。因此，我们专写了一个报告，要求释放周扬，提出没有调查清楚的问题可以继续调查，周扬放出来后发给生活费。毛主席在报告中提到“继续调查”的地方批示：“还是人民内部矛盾”；在报告上写有“发给生活费”处批示：“工资照发。”１９７５年国庆前夕，我们告诉吴庆彤说，在邀请出席国宴的国务院人员名单上，应列上周扬。