两家单位从1951年起开始共同调查，文整会搞设计，做预算，建设局负责招标、发包、监理工程。建设局的王怀厚是专职监理员，他跟我是林是镇的助手。
1951年1月上旬，建设局和北京文整会拟定出城楼和牌楼修缮工程实施方案。4月中旬，由养路工程事务所综合技术工程队对东、西长安街牌楼进行全面维修，完全按照古代建筑修缮工程技术程序进行操作。
…
吴晗发难（2）
…
4月25日，市政府通知建设局：政务院拨给北京市修缮城楼工程款15亿元（旧币），牌楼修缮工程，由建设局年度投资内列支，修缮从简。于是建设局将牌楼修缮工程改为维修工程，投资压缩近半。
但一年没有修完，弄不了这么多。1951年底，我们又写出二期古建修缮报告，但没有批下来。
这之后，风向陡转。
1952年5月，北京市开始酝酿拆除牌楼，此问题由公安局交通管理处首先提出。他们认为，大街上的牌楼附近交通事故频繁，牌楼影响交通是导致交通事故的主要原因，建议建设局养路工程事务所拆除牌楼。
这一年，在文津街北京图书馆门前发生一起严重的交通事故。原北京市城市规划管理局总建筑师李准回忆道：
那里的交通环境的确不好，自北海大桥下桥向西正逢下坡道路，车速一般较高，经过通视条件稍好的金鳌牌楼后即面临原北京图书馆门前附近的“三座门”。它有3个门洞，开间不大，一般只能通过一部汽车，再向前又遇到向北的弯道，行车视线受到较大的障碍。当时一部汽车自东向西疾驶，但快要进三座门时突然发现转弯过来的另一部汽车迎面驶来，这位司机看到迎面来的车里有前苏联专家乘坐，在已无法采取任何措施躲避的情况下，这位司机出于对“老大哥”的尊重，毫不犹疑地把车撞在三座门的门垛上，专家的车有惊无险地顺利通过，这位司机却失去了年轻的生命。当时，这类事故已有多起，很显然，道路间建筑物与交通的矛盾已达到非常尖锐的地步，应该迅速合理地予以解决。
1953年5月，北京市的交通事故简报称：“女三中门前发生交通事故4起，主要是因为帝王庙牌楼使交通受阻所致。牌楼的戗柱和夹杆石多次被撞，牌楼有危险。东交民巷西口路面坡度过陡，又有牌楼阻碍交通，亦属事故多发点。”
5月4日，中共北京市委就朝阳门、阜成门和东四、西四、帝王庙前牌楼影响交通的问题向中央请示：拟拆掉朝阳门、阜成门城楼和瓮城，交通取直线通过；东四、西四、帝王庙牌楼一并拆除。5月9日，中共中央批准了这个方案。并指出进行此项工程时，必须进行一些必要的解释，以取得人民的拥护。
北京市副市长吴晗担起了解释拆除工作的任务。梁思成与吴晗发生了激烈的争论。梁思成认为，城门和牌楼、牌坊构成了北京城古老的街道的独特景观，城门是主要街道的对景，重重牌坊、牌楼把单调笔直的街道变成了有序的、丰富的空间，这与西方都市街道中雕塑、凯旋门和方尖碑等有着同样的效果，是街市中美丽的点缀与标志物，可以用建设交通环岛等方式合理规划，加以保留。
据吴良镛回忆，梁思成一次当着吴晗和市政府秘书长薛子正的面，对周恩来说：“我对这两位领导有意见，他们不重视城楼的保护”。
当年在国务院工作的方骥回忆起梁思成与吴晗的一次冲突：
梁先生为了旧都多保留一些有价值的牌坊、琉璃宫门等古建筑，在扩大的国务院办公会议上，和自称“改革派”的吴晗同志争得面红耳赤，记得有一次，吴晗同志竟站起来说：“您是老保守，将来北京城到处建起高楼大厦，您这些牌坊、宫门在高楼包围下岂不都成了鸡笼、鸟舍，有什么文物鉴赏价值可言！”气得梁先生当场痛哭失声，这都是我们这些在场作记录的同志耳闻目睹的事实。
1953年的一个夏夜，林徽因与吴晗也发生了一次面对面的冲突。
那是文化部社会文化事业管理局局长郑振铎邀请文物界知名人士在欧美同学会聚餐。席间，郑振铎感慨道，推土机一开动，我们祖宗留下来的文化遗物，就此寿终正寝了。林徽因则指着吴晗的鼻子，大声谴责。同济大学教授陈从周回忆道，虽然那时林徽因肺病已重，喉音失嗓，“然而在她的神情与气氛中，真是句句是深情。”
梁思成致信中央领导，认为以“纯交通观点”来决定牌楼存废是片面的，应该从城市整体规划的角度来考虑文物保护以及避免车祸的办法，例如可建设交通环岛，将牌楼保留为街心景观等。另外，不同情况区别对待，如历代帝王庙前的一对牌楼“所在的一段大街，既不拐弯也不抹角，中间一间净宽6．20m，足够两辆大卡车相对以市区内一般的每小时20km的速度通过，不必互相躲闪，绝对不需要减低速度；若在路面中线上画一条白线，则更保绝对安全。两旁的两间各净宽5。15m，给慢行车通过是没有问题的。”“我们绝没有丝毫的‘思古幽情’，我们是尊敬古代劳动人民卓越的创造，要我们的首都每一条街道更能够生气勃勃地代表新民主主义、社会主义时代的伟大面貌。片面强调‘交通’，借口‘发展’来拆除文物，确有加以考虑的必要。”他建议对古建筑进行调查，立法分级保护，“把文物组织到新的规划中，而不应用片面的理由或个人的爱恶轻率地决定文化遗产的命运。”
交锋越发激烈。
1953年7月4日，北京市建设局奉市政府指示，牵头组织关于交民巷和帝王庙牌楼拆除问题座谈会。会议同意拆除交民巷的两座牌楼。关于帝王庙牌楼，文物部门的意见是最好能够保留，或易地重建。
8月20日，吴晗主持会议，讨论北京文物建筑保护问题。薛子正、梁思成、华南圭、郑振铎、林徽因、罗哲文、叶恭绰、朱兆雪等出席。
…
吴晗发难（3）
…
郑振铎态度强硬地说：“如有要拆除的最好事先和社会文化事业管理局联系，由中央决定，不应采取粗暴的态度。”
但吴晗绵里藏针：“全国性的问题请示中央决定。”
这是不是意味着，只要不是“全国性的问题”，就不需要“请示中央决定”呢？
林徽因提出，“保护文物和新建筑是统一的。保护旧的是为新建筑保存优良的传统”，“北京的九个城门是对称的，如一旦破坏，便不是本来的基础了。再如天坛只保存祈年殿其他都拆掉也不是保存文物的办法”。她认为民居建筑的保存也是重要的方面：“艺术从来有两个传统，一个是宫殿艺术，一个是民间艺术，后者包括一些住宅和店面，有些手法非常好，如何保存这些是非常重要的。”
梁思成在发言中指出，“北京市的发展是要在历史形成的基础上发展，一定要保存历史形成的美丽城市的风格。有些单位（如公安、交通、经济部门）考虑得片面”，“在保护古文物建筑工作上，首都应起示范作用，慎重是必要的”。
他搬出了苏联经验，提出“在莫斯科建设中，古建筑在原则上尽量保存下来”。他还以“土地私有”讥讽破坏文物建筑的行径：“北京各机关好像有‘土地私有’的观念，在他们自己的范围内爱拆爱建，一点不考虑整体。”
可是，吴晗作答：“在处理中应尊重专家的意见，但专家不能以为自己的意见必须实现。”
会后，由北京市人民政府与文化部社会文化事业管理局等部门共同组织的联合调查小组，对北京城区的牌楼及其他一些古建筑进行调查。
最后，对牌楼作出了保、迁、拆三种处理方式，即在公园、坛庙之内的可以保下来；大街上的除了成贤街和国子监的4座外，全部迁移或拆除。
不幸的是，“文化大革命”期间，吴晗与郑振铎组织的这次对牌楼调查测绘的所有资料，全部遗失。被迁至陶然亭公园的东、西长安街牌楼，也大约在1971年9月，被江青下令拆除。
1953年12月20日，吴晗主持召开首都古代建筑处理问题座谈会。
他在总结发言中说：“座谈会已取得一致意见的几处古代建筑处理意见：第一，景德坊先行拆卸，至于如何处理，另行研究。第二，地安门的存废问题以后再研究，先拆去四周房屋10间，以解决交通问题。第三，东、西交民巷牌楼可以拆除。”
由于梁思成的坚持，周恩来总理不得不亲自出面找他做工作。梁思成与周恩来恳谈了几乎两个小时，并极富诗意地描述了帝王庙牌楼在夕阳斜照，渐落西山时的美丽景象。周恩来则以“夕阳无限好，只是近黄昏”作答。
孔庆普主持拆除了历代帝王庙景德坊和东交民巷牌楼。他向笔者追忆了当年梁思成向这两处牌楼告别的情景：
市里对梁思成先生非常尊敬。1954年3月6日，我们开始拆东交民巷牌楼，脚手架都搭好了，第二天接张友渔副市长通知：“交民巷牌楼暂停施工，等梁教授看完后再拆。”我们当天晚上又把脚手架拆下来，把杉槁等放在中华门前面。可是，等了两天仍不见梁先生来，我们就报告局秘书室，12日由秘书室出车接来梁先生，由我在现场接待。
梁先生只看了东交民巷牌楼，他说，这两座牌楼都是改造过的，是混凝土牌楼，已不属于古代建筑，既然影响交通，拆就拆吧。他还问长安街牌楼的情况，问什么时候拆，说要是拆也应该挪到别的地方再建起来，东、西长安街牌楼是古建筑，都是木质的、老的。我说，东、西长安街牌楼计划在“五一”前拆完，6月15日上汛前，计划拆完东、西四牌楼。他没再说什么就走了。
梁先生走后，我向局里汇报，说梁先生没说什么，还说东交民巷牌楼已不是古建筑。局里又向市里汇报，市里就指示，动手吧。没过几天，市政府又来通知：长安街牌楼暂缓拆除，东、西四牌楼拆否未定，另行通知。
后来，这几处牌楼还是被拆除了。长安街牌楼是8月21日下午7时正式开工的，两座牌楼同时施工，25日凌晨做到场光地净。东、西四牌楼在12月21日同时开工拆除，26日凌晨6时，两处同时做到场光地净。
历代帝王庙牌楼也是我们拆的。1954年1月8日，我们开始准备拆卸。10日，梁思成先生来到现场，这是他自己去的，当时我们正在搭脚手架。他就在旁边看，见到我问这两座牌楼计划什么时候拆完？照了相没有？拆下来的部件存在哪里？重建的地点定了没有？我说，相片已照了，立面、侧面、局部、大样都有。上级布置是拆卸，要求操作仔细，力争不损坏瓦件，木件不许锯断，立柱和戗柱必要时可以锯断。拆下的部件暂存于帝王庙内，由文整会安排，重建地点尚未确定。据文整会俞同奎同志说，民族学院拟将牌楼迁建于校园内。
梁先生说，北京的古代牌楼属这两座构造形式最好，雕作最为精致，从牌楼的东面向西望去，有阜成门城楼的衬托。晴天时还可以看到西山，特别美，尤其是傍晚落日的时候。为争取保留这两座牌楼，他曾给周总理写信，总理很客气，说夕阳无限好，只是近黄昏。唉！也难说！这里的交通问题确实也不好解决。
拆这座牌楼，是因为