陈独秀来到上海后便与李汉俊取得了联系，相同的理想和目标很快使李汉俊和陈独秀走到一起，他们也很快成为了志同道合的同志和亲密战友。
1920年4月，共产国际代表魏金斯基经李大钊介绍由北京来到上海找陈独秀商讨建党的问题。在沪期间魏金斯基访问了《新青年》和《星期评论》等编辑部和一些进步社团负责人，并举行了几次座谈会。李汉俊与陈独秀每次都参加了座谈，他们认真听取共产国际代表关于俄国十月革命后政治、经济和教育等方面的情况介绍。通过商谈，陈独秀和李汉俊得出一致的结论：走俄国人的路。在魏金斯基的帮助下陈独秀、李汉俊等加快了建党的步伐。这年5月，李汉俊与陈独秀一起在上海成立了马克思主义研究会，这是上海共产党早期组织的前身，参加马克思主义研究会的人还有陈望道、邵力子、施存统、俞秀松、沈玄庐、李达，陈公培、沈仲久、刘太白、沈雁冰、杨明斋等人，之后他们经常在一起讨论关于社会主义的问题，加深了对于马克思主义的了解，为建党作了思想上组织上的准备。
1920年7月，在上海举行的传播马克思主义积极分子会议上，李汉俊和陈独秀等坚决赞成在中国建立无产阶级政党。同年8月，上海共产党发起组在渔阳里2号陈独秀的寓所正式成立，这是中国第一个共产党的早期组织。陈独秀被选为书记，李汉俊则为新成立的共产党起草了一个类似党纲的文件。
上海共产党早期组织成立后，李汉俊和陈独秀积极开展马克思主义宣传和党组织的发展工作。1920年8月，上海早期党组织用“社会主义研究社”的名义，出版了由陈望道翻译，陈独秀、李汉俊两人共同校对的《共产党宣言》中文全译本，很快该书成为各地党员学习的重要参考书。此外李汉俊和陈独秀还分别与各地的马列主义者或先进分子联系，积极发展党员，成立各地方组织，陈独秀通过关系先后发展了湖南、山东、广州等地党的组织，李汉俊发展了湖北党组织，介绍了董必武等入党。李汉俊和陈独秀在宣传马克思主义的建党思想，推动各地建立党团组织等方面发挥了领导核心的作用。
李汉俊与陈独秀在帮助筹建各地党组织的同时，还努力促进马克思主义与工人运动相结合，积极支持上海的工人运动。1920年4月，李汉俊与陈独秀一起出席了上海船务栈房工界联合会成立大会，陈独秀还在会上作了题为《劳动者底觉悟》的演讲。他说：“社会上各种人只有做工的是台柱子”，世界上“只有做工的人最有用，最尊贵”。他希望“做工的人快快觉悟”，第一步争取“改良待遇”，第二步“要求管理权”。5月1日，李汉俊与陈独秀联手在《星期评论》、《新青年》同时出版了“劳动纪念号”。李汉俊在《星期评论》上发表了《强盗阶级底成立》，用马克思主义的政治经济学理论，揭露了资本家发财致富，工人受压迫和剥削的秘密。8月15日他们又一起创办了《劳动界》周刊，这是一份向工人进行马克思主义宣传的通俗刊物，该刊是我党最早创办的工人刊物，被誉为“做我们工人的喉舌”、“救我们工人的明星”。10月3日，上海第一个党领导下的工会组织——上海机器工会在渔阳里6号外国语学社开发起会，李汉俊和陈独秀一同莅会，并被聘为名誉会员。
1920年11月，陈独秀因陈炯明邀请到广东担任教育委员会委员长，陈独秀离开上海后，便委托李汉俊代理中共上海发起组的书记，同时将《新青年》杂志也交给他和陈望道主编。可见陈独秀对李汉俊的信任和看重。这段时间无疑是李汉俊和陈独秀关系最为密切和融洽的时期。
二、隔膜：因分歧和经费而起
陈独秀赴广州工作后，中共上海发起组由李汉俊任代理书记。李汉俊一方面积极筹备中国共产党第一次代表大会召开，一方面夜以继日地编辑《新青年》杂志。在这期间李汉俊与陈独秀之间产生了隔膜，产生隔膜的原因是他们在政治见解上的分歧和性格上的差异。
李汉俊与陈独秀政治分歧主要体现在共产党中央是采取“分权”还是“集权”的问题上。原中共上海发起组主要成员之一的李达对此回忆说：“1921年2月，陈独秀起草了一个党章，寄到上海，李汉俊看到草案上主张党的组织采中央集权制，对陈独秀甚不满意，说他要党员拥护他个人独裁，因此他也起草了一个党章，主张地方分权，中央只不过是一个有职无权的机关。陈独秀看了李汉俊这个草案，大发雷霆，从广州来信责备我一顿，说上海的党员反对他，其实我当时并不知道这件事。从此以后，陈独秀和李汉俊二人之间的裂痕愈来愈深，我觉得党刚才发起就闹起分裂来，太不像话，只得调停于二者之间，要大家加强团结。但李汉俊态度坚决，不肯接受调停，并连书记也不做了，《新青年》也停刊不编了，他就把党的名册和一些文件移交于我，要我担任书记，我为了党的团结，只好接受了。”陈独秀对李汉俊也很不满意，陈独秀对从上海前往广州的包惠僧说：“我要搞中央集权制，他要搞地方分权制，这不是明着与我对着干吗？中国革命才开始，都搞地方分权，岂不成了无政府主义。”
不过在李汉俊等人的抵制下，陈独秀只得做出让步，在中共“一大”前，他在广州又匆匆起草了一个关于党的组织和政策的四点意见：“一日培植党员；二日民主主义之指导；三曰纪律；四日慎重发动群众。”新提案由广州代表陈公博带到上海，这个提案实际上成为中共“一大”的指导原则。如果把陈独秀提出的这个提案与5个月前寄来的“党章”加以比较就会发现，“党章”上的“民主集权制”被改成了“民主主义之指导”，还把“党章”上的“党绝对命令党员、党员服从纪律”改为有较大解释余地的“纪律”。在“一大”会议上，李汉俊再次提出“不赞成组成严密的、战斗的工人政党”。当时李达与陈公博拥护李汉俊的观点。对此，张国焘在会后大发牢骚，责怪“陈独秀搞的党太松弛”。当然，李汉俊的“分权”也有一定的道理，他认为“中国过去都是专制的，如中国共产党新中央集权制必流于覆辙。”李汉俊认为中央只要一个人坐机关就够了，各地的政策也不宜相同。很明显，李汉俊的主张违背了列宁的“中央集权制”的建党原则。
在中共“一大”会议上，李汉俊还曾提出，在现阶段，共产党可以参加资产阶级民主运动，应该支持孙中山的革命。这一意见应当说是正确的，也有支持者，但大多数代表却不同意李汉俊的意见，结果会议通过的党纲和决议指出：不同其他党派建立任何相互关系。张国焘曾经回忆说：“在开会以前有两个意见：汉俊与守常等是一个意见，国焘与独秀等是一个意见。”“与无政府党争斗，守常也有些动摇。但独秀对这些问题当能坚决，对我的意见表同情。曾写信给我说：如守常动摇，就不客气的开除他。”
实际上，李汉俊和陈独秀关于中央集权和地方分权的见解原本可各抒己见，加深沟通与谅解，可惜，由于两人分处上海、广州两地，仅以书信表达，一时半会也很难讲清楚。加之在党的经费问题上，两人又发生了冲突，也使隔膜越来越深，关系也越来越僵。
当时党的活动经费，每月仅需大洋200元，但是大家却无力负担，因为当时在上海的党员，大都没有职业，不能挣钱，搞工人运动没有钱不成。据李汉俊嫂子薛文淑回忆：为筹措党的活动经费，李汉俊真是煞费苦心，他把教书所得收入和经常写文章所得的稿费大都用于革命之需，有时为了党的活动经费，甚至把爱妻（已故）的金银首饰送入当铺，后由她帮忙赎回。
而当时《新青年》社在法租界大马路开了一家新青年书社，生意很好。据李达回忆李汉俊曾向陈独秀写信提议由新青年书社按月支200元做党的经费，陈独秀没有答应。陈独秀对李汉俊来信提到每月从新青年书社拨200元活动经费很有意见，他对谭植棠说：“这怎么行啊！《新青年》的经费本来就紧张，每月拿出200元，《新青年》还办得下去吗？”还有陈独秀临去广州时，曾对李汉俊约定，《新青年》每编出一期，即付编辑费一百元，后来李汉俊未能按月编出，该社即不给编辑费。事实上为了不耽误《新青年》预定的排印日期，李汉俊经常通宵达旦工作，赶写文章和审定稿件。结果陈独秀连说好的编辑费都不给，因此，李汉俊认定陈独秀私有欲太重，大不满意，这是他两人之间冲突的起源。这些本来也不是很突出的矛盾，不过由于李汉俊和陈独秀在关于中央集权和地方分权的问题上已心生芥蒂，因此当李汉俊看见陈独秀信上的口气很硬，便将党的名册、一些文件交给李达，对李达说：“这个代理书记我干不了，请你做吧。你要是不愿意做，就请陈独秀找人代理。”这时李汉俊与陈独秀的关系已经有点水火不容的地步。
三、分离：一生的遗憾
此时尽管李汉俊与陈独秀的矛盾已经很深，但是他仍然在积极筹备党的“一大”。1921年6月间，共产国际代表马林到达上海后，先后与李达、李汉俊接触，商议尽快召开“一大”事宜。李汉俊即将马林来上海商谈的情况致函陈独秀，要陈独秀到上海出席建党大会，但陈独秀因事未能出席。这就错失了一次两人当面解释的良机。而且由于陈独秀未到会，整个大会的气氛和人事安排也受到一定的影响。在党的第一次全国代表大会上，选举陈独秀、张国焘、李达为中央执行委员，而被公认为是马克思主义理论家和会议重要组织者的李汉俊却连候补委员都未选上。对这样的人事安排，李汉俊不可能没有一点想法和情绪。
刘仁静就曾经为李汉俊抱不平，他说：“‘一大’在选举中央委员时，张国焘有过一些小组织活动，结果他认为应选上的人都选上了，像李汉俊这样的人却没有选上。”在“一大”选举中央机构时，刘仁静还投了李汉俊一票，也是唯一的一票。同年9月，陈独秀辞去广东教育委员会委员长的职务，回到上海，专门主持中央局工作后，李汉俊与陈独秀进行过一次长谈。李汉俊再一次强调，当今的中国，广大知识分子还没有真正的用马克思主义武装起来，整个工人阶层还不是十分成熟的情况下，党如果把工作的重点全部放在开展工人运动上，势必产生急躁冒进。然而，李汉俊的思想并没有得到陈独秀的赞同。对于工人运动的看法虽然不尽相同，但是在宣传马克思主义方面，全党的思想是一致的。此后，李汉俊致力于马克思主义的宣传工作，撰写了一系列马克思主义宣传文章，这对当时知识分子接受马克思主义起到了极大的作用。
1922年初，在组织中失去了重要地位的李汉俊离开上海前往武汉，专事教学和工人运动。1923年2月，为躲避军阀吴佩孚的魔爪李汉俊前往北京，暂避在哥哥李书城家里。后通过李书城的关系，李汉俊在北京政府的外交部、教育部任职，为此中共中央发出通告给他以处分。1923年5月5日，李汉�