然而，卡斯特罗与米尔塔之间的裂痕已经无法弥合，因为米尔塔的家庭加强了干预，要求她与卡斯特罗脱离关系。而她本人也决定离开哈瓦那，同家里人一起去塔拉拉。7月19日，他在狱中收到了姐姐利迪娅的来信，信中告知他说：“昨天星期日，米尔塔和小菲德尔来到我们家，显然我们大家在一起最好……但是，下午，又来了她的父亲、兄弟拉斐尔和瓦尔多以及她的姑姑诺埃利娅，她决定同他们一起去塔拉拉……决定脱离与你有关联的任何活动……利迪娅。”
。。
写奇文婚姻危机（3）
卡斯特罗读完利迪娅的来信，心中感到一种从未有过的痛苦，几乎流下了坚强的眼泪。但是，他很快用他铁的意志战胜了这种痛苦。7月22日，他在致利迪娅的信中说：“亲爱的忠实的姐姐……我会尽快给你回信，因为我现在不想动笔。不要挂念我，你知道我有铁的意志，至死我也会名副其实……菲德尔。”
实际上，卡斯特罗内心的痛苦并不能一下子消除，而且一种巨大的伤痛压迫着他，这是从未有过的伤痛。他在7月31日致路易斯·孔特的信中，诉说道：“路易斯，我无法告诉你这些日子我所受的折磨，这是一种新的、不知名的、可怕的伤痛造成的，它使我更加痛苦和失望一千倍，因为身在比任何时候都更加可恶的大墙后面，我毫无自卫能力……路易斯，这涉及到我能否继续捍卫和代表一种事业，还是被可耻地、卑鄙地、残暴地摧毁……我从未想到拉斐尔是个如此无耻和堕落之徒，我无法想像他能如此无情地牺牲自己妹妹的荣誉和名声，使她面对永恒的不幸和耻辱……利迪娅应该告诉过你拉斐尔如何强迫妹妹的肮脏手段。至于我，如果当时我没能吐血，这时我真的要吐了……我活着，因为我坚信我有义务去履行。很多时候，想到一年中遭受的苦难，我竟想到如果死掉将会是何等的惬意……我的成就不大，但都是以无穷的牺牲和高尚的幻想换得的，他们不可能毁掉……路易斯，在哭泣和流血之后，难道还需要到痛苦学校学些什么吗？”
在卡斯特罗为他的家事极其痛苦的日子里，在致路易斯·孔特的信之前，即7月26日他领导袭击蒙卡达兵营一周年之际，他在狱中与突然来访的三位部长进行了一次谈话，这三位部长是司法部长加顿·戈多伊·洛雷特·德莫拉、财政部长马里诺·洛佩斯·布兰科和内阁部长拉蒙·埃米达·安托尔查。他们此次谈话的内容在卡斯特罗于7月初写给路易斯·孔特的一封长信中，他在信中描述了他与加顿·戈多伊和马里诺·洛佩斯·布兰科两位高官的谈话情形。他在信中写道：
“路易斯，大约13时15分，我穿着裤衩在牢房中躺着看书，这时传来看守要我注意的声音。没等我反应过来，进来了司令和两个身着‘德里斯100’斜纹亚麻衣服的先生……看守说，‘卡斯特罗，加顿·戈多伊和马里诺·洛佩斯·布兰科先生要认识你，问候你！’我回答：‘好，你们应早些通知我，使我衣冠整齐些……’‘我们想知道他们如何对待你。’洛佩斯·布兰科说。‘困难很多，但我从未想像到监狱会像一个旅馆和宫殿。’围绕无关紧要的话题对话五六分钟，他们便告辞。临走时，司令宣布：‘卡斯特罗，内阁部长在此，想与你谈谈，不知先生你如何接待他。’‘司令，我不是一个毫无教养的青年，不用担心他会做出无礼举动。现在，部长先生的一些言论使我备受伤害；若能与他谈话，唯一要做的是请他进行赔罪。’司令反驳说：‘我想最好先生不要谈论这一问题。’‘那么，司令，我最好还是不见部长。’”
卡斯特罗在信中继续写道：“尽管如此，五分钟后，部长进来，十分友好地伸出手。‘卡斯特罗，希望你明白我不是你个人的敌人，总统更不是。我对你毫无成见，我仅仅是一个在政府中担任部长职务的公务员。你们坐牢是由于法院的判决，在这方面，我的使命仅仅是维护法律的执行……’我默默地听着。我说：‘你的一些讲话使我受到伤害，这些讲话怀疑我道德的完美……我的一位亲属原是政府的高级公务员，他完全与我的意志和观点无关。现在你们又把另一个与我更接近的亲属放在政府人员的名单中。先生永远不应利用这一现状攻击我的家庭和试图破坏我的名声。我被关押，我无法为自己辩护，我甚至无法用我的能力去证明在此问题上我完全的无辜，也不能追究这些公务人员利用家属条件如此不公正地反对我的责任。国库里全部的几百万都无法诱惑我！怎么能用类似的阴谋玷污我的声誉？’于是部长宣布：‘好了，卡斯特罗，我知道此事的责任在小拉斐尔，他行事永远像个不负责任的孩子，我以我的荣誉向你保证……’‘好了，部长，我接受你的解释，我保留恢复自由后对这一问题进行全面澄清的权利。总之，我承认，对你来说，想部分弥补这一冤案是对的，你理解到对一个毫无自卫能力的人进行侮辱是不可原谅和宽恕的。’他又要求我别着急和保持平静，告辞后走了。”
卡斯特罗此次与内阁部长埃米达的一席谈话，导致了巴蒂斯塔政府内阁的一场危机，尤其是激怒了米尔塔的哥哥拉斐尔·迪亚斯—巴拉特，于是发表公开信严厉指责他的上司内阁部长与“犯罪企图组织者”的此次会谈，同时谴责了埃米达部长侮辱了国家武装力量和在七·二六奇袭中死去士兵的英名。由于上述因素，最终导致了拉斐尔和部长埃米达的辞职。正如1954年8月号《波希米亚》杂志上载文说的：“一件奇特的事发生了，由于菲德尔·卡斯特罗而发生了巴蒂斯塔的内阁危机……”但是，巴蒂斯塔亲自出面很快平息了此次危机。
另外，在这期间，由于军事情报局截获了纳蒂写给卡斯特罗的一封信，当拉斐尔得知消息后，立即指使手下将卡斯特罗写给米尔塔的信送给纳蒂，同时又将截获的纳蒂的信送给米尔塔。这样一来，使他们夫妻的关系到了无法挽回的地步，离婚已经无可避免。
在大赦免中出狱（1）
1954年9月间，在梅尔瓦和艾德的积极努力下，找到一家小印刷厂，将《历史将宣告我无罪》这篇重要文章印了27万份，并根据卡斯特罗的指示，大部分运往奥连特省散发，另一部分在10月间通过奇瓦斯的私人秘书孔奇塔·费尔南德斯运到美国纽约散发，随即在国内外产生了很大影响。
这时，监狱方面允许劳尔来到哥哥卡斯特罗的牢房，并陪伴他。这样，使他的监牢生活有了一些改善，增添了一点色彩。然而，当9月3日他在狱中得知“囚禁在皮诺斯岛的菲德尔和劳尔的父亲、庄园主安赫尔·卡斯特罗·阿希斯的家烧了……”的消息后，心中立即布满了阴云，心境又坏到了极点。这时，他在精神上面临着家庭灾难和婚姻破裂的双重打击，他感到一种巨大的痛苦。但是，他很快从这种痛苦中挣脱出来，因为在他身上有一种与众不同的善于战胜痛苦和困难的意志。这可以从他在1954年11月29日致玛丽亚·利迪娅的信中看出来。他在信中这样写道：
“亲爱的姐姐，你对离婚的见解使我高兴，特别是你一丝不苟地完成着我的嘱托。关于孩子，我保留我的观点……我同那些人之间有一条鸿沟……我以要求离婚的同样决心迎接各种耻辱；儿子毫无道理的离去使我难过，我将不惜任何代价，以同样的决心把他赎回……总之，不容忽视的一点是，要把孩子从我身边夺走，必须先把我杀死，即使杀死我……我一思考问题，便失去理智……星期六等你……”
12月8日，卡斯特罗在写给利迪娅的信中仍然谈到了儿子的问题，看来能否在离婚中得到儿子对他十分重要。他在信中说：“亲爱的姐姐，佩拉约和何塞·曼努埃尔（均为律师）在这里的那一天；我告诉他们只要先把孩子带来，并在我指定的中学注册，接受我的监护，我将做出让步。否则，我们将提出诉讼。他们告诉我另外一方会提出异议，理由是我正受到法院的制裁……我回答他们说关于这一点，完全不用为我担心，法院以令人起敬的借口对我进行判决，把我投入监狱，我为此感到荣耀……我毫不妥协，如果归还我那被劫持的儿子，我将以足够的君子气度避免一场令人不快的官司；我也决心把这场斗争进行到任何必要的地方。如果他们幻想着我会同意他们把这孩子养成一个寄生虫……他们的心灵将对他们的行动，对他们以各种形式表现出的人道的和卑鄙的行动承担全部责任！是他们造成了这一切……你兄弟的热烈拥抱。菲德尔。”
卡斯特罗在狱中除了处理家庭的问题外，也十分关注追随他的革命同志。1955年1月1日，当新年第一天来临的时候，他在狱中得知曾参加袭击蒙卡达兵营而流亡到墨西哥的尼科·洛佩斯因身陷困境、打算与卡利斯托·加西亚一道回国的消息后，立即致信尼科·洛佩斯，提醒和关切地说：“假如你们到达时他们没有对你们进行拘留，为避免我们所经历的一切，你们可以自由地、自愿地到圣地亚哥紧急法院里，找到包迪略·卡斯特利亚诺斯，他将为你们辩护……就说你们需要的是与被关押的战友同样的命运。他们别无选择，只有……我随信附上声明，供你们到达前签名后寄给CMQ电视台、米格尔·克韦多、孔特·阿圭罗、帕尔多·利亚达、广播联盟、曼努埃尔·帕拉西奥·布兰科、《自由新闻》、《世界报》和《国民日报》……”
另外，他还在信中告知说：“……案件将重新审理，我们将震动全国……就在总统就职前。当所有声音都呼吁赦免我们时，这将是一次可怕的心理打击。你要把这一计划告诉所有你认为合适的流亡在外的战友。但是，请注意，这作为你的意见，因为我不想对他们施加心理压力。请求你不要忘记最根本的慎重……”
现在的卡斯特罗在行事问题上已变得相当谨慎，不再像以前那样凭单纯的冒险精神行事，这从上述信中可以看出。另外，请人转给在袭击蒙卡达兵营时牺牲的雷纳托的父亲雷内·吉塔特的信中，也可以看出。他在信中写道：“我认为不再给你写信更为慎重，因为官方的无耻使我们失去信任。尽管先生是本市如此深受我们大家爱戴、尊重、敬慕的人，你为什么会相信当发现与我频频通信时，他们会不去打搅你？……小伙子们很容易激动……因为一张相片……在这里要装作我们之间不存在丝毫联络；但任何佩德罗（米雷特）对先生可能的暗示将向新闻检查暴露我们正在联络……”
关于赦免的问题，卡斯特罗在3月13日致利迪娅的信中，用坚定的语气对当局说：“我过去没有请求，现在也不会请求赦免。我有足够的尊严在此度过20年或者早早死于愤怒。现在，至少要允许我彬彬有礼地、不时地让一些人滚蛋，让那些无孔不入地寻找借口扰乱别人安宁的人见鬼去吧……”
巴蒂斯塔在无人竞争的情况下当选古巴总统，实际上是攫取了总统宝座之后，随即宣布大赦。关于赦免的问题，卡斯特罗在1955年3月19日致路易斯·孔特的信中发表了自己的看法。而《波希米亚》杂志将此信加标题为