在伦敦逗留了几个月后，由于伦敦的华侨很少，也没有中国留学生，孙中山决定前往日本，因为那里与中国相近，消息灵通，便于筹划未来的革命。
1897年7月1日，孙中山乘“努美丁”号轮船离开英国，经一个多月的漂泊，抵达横滨。
孙中山重返日本，也引起了日本政府对这位反清人物的关注。1897年，日本外务省派了三个人——平山周、可儿长一和宫崎寅藏秘密前往中国，调查反清秘密会党。而在调查了解中，宫崎寅藏对孙中山渐渐产生了兴趣。9月初，回到横滨不久的宫崎就迫不及待立即前往陈少白住处拜访这位革命者，孙中山充满激情的谈吐，一下子将宫崎征服。
宫崎在他后来写的《三十三年之落花梦》中回忆了许多孙中山当时的言论，他毫不掩饰自己对孙中山的仰慕之情：
彼何其简而能尽乎，言贯理义之精，语夹风霜之气，若不胜如焰之热情，燃而向上；又不胜如花之辩舌，灿以发舒，此实自然之音乐也，革命之律侣也，此真布鲁东、巴枯宁之流亚也。余首肯，余心折，余私自忏悔。彼其胸中，见数万甲兵；彼其度量，可容卿百辈。……孙君者，可谓东亚之珍宝也。我岛国民，所谓侠，所谓武士道，大和魂者，皆不足当一笑！呜呼！不愧死，亦当羞死！
经过这次见面，宫崎就下定了追随孙中山的决心。
实际上，日本政府对于孙中山的态度，也是颇为踌躇的。当时正值甲午战争后不久，中日矛盾比较激化，日本国内各种政治力量处于争执的状态，其中有一派主张支持孙中山的革命运动。宫崎寅藏在与孙中山会面的第二天就赶赴东京，向日本政要犬养毅报告。犬养非常兴奋，说：“这是份大礼物，怎能不会他一面？”当即命宫崎到外务省向小村寿太郎次长汇报，要求他接见孙中山。但当时日本政府正设法缓和中日关系，藉以减轻清政府联俄外交造成的压力，所以小村拒绝会见孙中山。
9月27日，平山周等从横滨陪孙中山到东京拜访犬养毅。“从犬养的家中辞出之后，我们请孙文住在数寄屋桥旁的对鹤馆内。”平山周后来回忆，在登记姓名时，孙中山并不想以真名示人，平山周思索片刻，想到经过日比谷公园附近中山忠能侯爵官邸，遂以“中山”两字登记。而孙则顺手拿笔在中山字下面写了个“樵”字。孙向平山解释说，这个意思表明自己是“中山的山樵”。从此，“中山”之名便渐渐被外界叫起来。
孙中山与犬养的会晤，为他重新筹划和启动中国革命提供了一个机会。犬养是日本政坛的一位实力派，代表日本自由民权主义的政治力量。他熟悉中国传统文化，主张亚洲各国联合对抗欧美列强。在犬养毅等人的努力下，孙中山被允许居留日本，从此，孙中山便开始进行一系列活动。
联手康有为的数次努力（1）
1898年9月21日，农历八月初六，中国近代史上又发生了一件大事——慈禧太后发动政变，囚禁光绪皇帝，康有为在英国军舰保护下先避居香港，梁启超在日本使馆安排下，由平山周陪同，在天津从日本商船登上日本军舰。而谭嗣同等人被杀，宣告了戊戌变法的失败。
曾给予孙中山巨大帮助的宫崎寅藏，这一次又专程到香港，陪同康有为及弟子7人逃亡日本。10月20日，康有为与先期到达的梁启超在东京会合，其生活费由日本政府提供（后改由进步党供给）。
得知康、梁流亡日本的消息，孙中山马上请宫崎寅藏转达欲求一见的愿望。
其实，孙中山很早就有了结交康有为的念头。两人同属广东人，最初都对现实社会抱着热切的改良愿望。康有为当时在广州讲学，喜欢读西方译本，经常在他的“万木草堂”推荐学生读《民约论》、《法国革命史》、《美国独立史》以及《万国公法》等，并以华盛顿为理想人物。而那时，孙中山也在挂牌行医，得知康有为有志于西学而想与他结交，遂托人转达此意，岂料康有为的回答是：“孙某如欲订交，宜先具门生帖拜师乃可。”孙中山认为康有为太过妄自尊大，就此作罢。
1895年，孙中山与维新派有了最初的实质性接触。据冯自由在《中华民国开国前革命史》记载，“中山、衢云、少白在香港澳门间，尝与康广仁、何易一、陈千秋商略革命”，后来孙中山在广州倡导设立农学会，也曾试图请康有为及其徒弟陈千秋等加入，但遭到康有为及其弟子的拒绝。
1896年2月，兴中会成员谢缵泰在香港与康有为的幼弟康广仁结识，当时，两人还畅谈两派联合救国之必要。不久，两人再一次会面，康广仁向谢缵泰解释说，兄长康有为并非“忠心扶满”，“不过欲以和平革命方法救国”，那时康有为已因“公车上书”事件而名声大振，仍寄希望于清廷内部自上而下的改革，深恐害怕与孙中山等“革命党”公然来往而遭致疑忌。
到1898年夏秋间，得到光绪皇帝青睐的康有为正沉浸在他的“帝师”荣耀中，因为担心与革命党的任何关系都有可能成为保守势力攻击的炮弹，所以处处小心。当时，宫崎寅藏经人介绍认识了康派的人，“康先生当时在北京，已为王佐之臣，声望震于四海，因此其党羽的气势也为之大张。但是，孙党以及其他一部分人士，却把他们看作是变节分子，非常憎恶他们的行为，把他们看作是放弃了共和主义、投降异族帝王的变节分子。因而，互相对抗，彼此倾轧，已达极点。”康广仁虽然想和杨衢云见面，但随着其作为“戊戌六君子”之一牺牲，他和谢缵泰所主导的这一条联合之路就彻底失去了可能性。
此次变法失败，康、梁流亡，让孙中山再一次看到了联手的希望。
其实，孙派与康派虽然采取不同的救国道路，但他们有着合作的共同基础——无论孙中山还是康有为，都把日本的明治维新作为效仿榜样，而且双方都在寻求日本支持。孙中山一直希望能与康有为等改良派形成一股联合起来的力量，日本方面出于自己的利益考虑，也希望康、孙能形成合作。
听说康、梁两人抵达日本，孙中山马上通过宫崎寅藏向康有为表达欲赴东京拜访的意愿，但被康有为拒绝。此后，犬养毅又亲自出面，邀请孙中山、陈少白与康有为、梁启超4人一起到他的早稻田寓所会谈，碍于情面，康有为只好派梁启超去谈。
当天，孙中山、陈少白和梁启超按约会晤，一直谈到天亮，梁启超答应回去同康有为商量，再来答复。但等了两天，梁启超仍无音讯，孙中山于是派陈少白和平山周前往康有为住所，这一次，陈少白同时见到了康、梁二人，陈少白向康有为“痛言满清政府种种腐败，非推翻改造无以救中国，请康改弦易辙，共同实行革命大业”。而康有为则还对光绪皇帝不放弃最后的希望：“今上圣明，必有复辟一日。余受恩深重，无论如何不能忘记，惟有鞠躬尽瘁，力谋起兵勤王，脱其禁锢瀛台之厄，其他非余所知……”
双方辩论3小时，康有为仍坚持其立场。联合之事再一次化为泡影。
康有为对孙中山避犹不及的态度，宫崎寅藏有很深刻的分析。
联手康有为的数次努力（2）
康先生之避而不见也自有其理由，盖从清帝看来，孙先生为大逆不道的叛徒，悬赏而欲得其首级。孙先生之视清帝，亦不啻是不共戴天之仇，伺机想一蹴而推翻他。而康先生虽然中道挫折，亡命异国，但依然梦想挽回大局，恢复皇上的统治，自己作一个幕后的人，以立空前的大功。因此，无论从以往的情义上，从怕受人怀疑这个利害的观点上，不愿会见孙先生是无可厚非的。
虽流亡海外，但康有为仍一心想恢复光绪皇帝的统治，自负心很强的康有为，以为能说服日本外相出兵牵制顽固派，挽回其势力。而孙中山则被清廷视为不共戴天的仇敌，康有为后来也说：“我是钦差大臣，他（指孙中山）是著名钦犯，不便与见。”
此时，日本政府对康有为的态度也在悄悄发生改变。1898年11月，日本大隈内阁瓦解，山县有朋组阁。不久，传闻伊藤博文访华时，李鸿章提到日方保护清朝流亡者，新政府不希望在外交上与清朝产生纠纷，因此改变了大隈重信内阁对康礼待有加的策略。
而另一方面，日本方面也看出，在中国国内，只有极少数人想拥护皇帝继续改革，不可能以国内保皇党的力量来恢复帝位，他们还看出，康有为东山再起的希望，实在微乎其微。
此后，“不但日本政府把康当做累赘，民间志士对康的同情也日趋淡薄”，康有为觉察到这种冷淡，最终不得已前往欧美。
1899年3月22日，康有为得到日本方面9000元资助，被礼送出境，赴加拿大。
康有为的离开，使梁启超成为康梁派前线的领军人物，也为孙中山争取与梁启超合作提供了一个契机。较之于老师康有为，梁启超对于孙中山的联合提议，并不持强烈的排斥态度。另外，梁启超在此前报刊上发表的一些言论，也表明在对待清政府的态度上，他与康有为是有区别的，梁启超曾说，主张“有血的破坏”，并且以“破坏主义者”、“革命家”自居，一段时间，梁启超等与杨衢云、尤列、陈少白等来往密切，孙、梁合作的消息，也盛传于东京、横滨间。
5月，孙中山赴东京拜访梁启超而不遇。一个月后，两人终于走到一起，商谈双方联合事宜。梁启超此时曾致函孙中山，语气相当客气有礼。随着两人接触次数增多，孙中山与梁启超的一些见解日益接近。在此期间，兴中会不少人与康梁派的梁子刚、韩文举等人也频繁接触，寻求合作成为当时最为首要的任务。
1899年秋，是孙中山与梁启超往来最为密切的时期，两人甚至还谈到合作后的组织形式。孙、梁的“亲密接触”在各自的阵营里都遇到持强烈反对意见的人，尤其是康梁派里的徐勤等人，认为梁启超已渐渐掉进别人的圈套里，于是秘报正在香港准备前往新加坡的康有为，康有为大怒，立即勒令梁启超赶赴檀香山，不许拖延。
出发前，梁启超找到孙中山，表态仍要合作到底。应梁启超的要求，孙中山还热心地将胞兄孙眉在内的许多亲友介绍给他。
关于梁启超对与孙中山的合作意图及合作诚意，学术界对此也一直持不同看法。但从结果上看，这个联合极其脆弱。梁启超到达檀香山后，会晤了兴中会李昌、何宽、郑金、钟木贤等人，并前往茂宜岛拜访孙眉，孙眉甚至让其儿子阿昌执弟子礼，随梁到日本留学。兴中会同志均把梁视为同路人，热情相助。
10天后，梁启超在致信孙中山报告此行情况时，曾有这样一些话，暗示了他的处境：
弟此来不无从权办理之事，但兄须谅弟所处之境遇，望勿怪之。要之我辈既已订交，他日共天下事必无分歧之理，弟日夜无时不焦念此事，兄但假以时日，弟必有调停之善法也。
如果说，最初梁启超还在希望合作的孙中山与拒绝合作的康有为之间摇摆不定，甚至一定程度上倾向于合作的话，那么到了檀香山一段时间后，他却彻底站到了康有为的一边。
梁启超在檀香山居住了3个月