五四運(yùn)動(dòng)爆發(fā)后，中國(guó)工人階級(jí)第一次作為獨(dú)立的政治力量登上歷史舞臺(tái)，這使李大釗欣喜地看到，在中國(guó)建立以馬克思列寧主義為理論指導(dǎo)的無(wú)產(chǎn)階級(jí)革命政黨開(kāi)始有了可能。1920年初，李大釗就曾與鄧中夏等醞釀過(guò)成立中國(guó)黨組織的問(wèn)題。

1920年2月8日，陳獨(dú)秀從武漢回到北京。2月12日，正是陰歷“小年”，李大釗雇好了一輛騾車，和陳獨(dú)秀都喬裝成商人，如同商號(hào)經(jīng)理出外討債，身邊還放著一些賬本，趁著晨光悄悄從朝陽(yáng)門出發(fā)，離開(kāi)了北京城，經(jīng)廊坊直往天津。旅途中，二人相約在北方和南方籌建共產(chǎn)主義組織，就此留下“南陳北李，相約建黨”的佳話。

3月，李大釗在北大秘密組織成立馬克思學(xué)說(shuō)研究會(huì)。研究會(huì)成立后，李大釗找蔡元培校長(zhǎng)要了兩間屋子做活動(dòng)場(chǎng)所，一間當(dāng)辦公室，一間當(dāng)圖書室。他們還給這兩間屋子起了個(gè)名字，叫“亢慕義齋”（英文Communism，即“共產(chǎn)主義”的諧音）。

4月，共產(chǎn)國(guó)際代表維經(jīng)斯基一行來(lái)到中國(guó)，了解中國(guó)革命的情況，并同中國(guó)的革命組織建立聯(lián)系。共產(chǎn)國(guó)際代表維經(jīng)斯基一行的到訪，無(wú)異于為中國(guó)共產(chǎn)主義組織的成立注入了催化劑。李大釗開(kāi)始認(rèn)識(shí)到，在中國(guó)僅僅建立馬克思學(xué)說(shuō)研究會(huì)，已經(jīng)遠(yuǎn)遠(yuǎn)不夠，必須籌建無(wú)產(chǎn)階級(jí)政黨。

建黨初期，陳、李二人書信往來(lái)頻繁。據(jù)張申府回憶，1920年8月，陳獨(dú)秀就黨組織是叫社會(huì)黨還是共產(chǎn)黨拿不準(zhǔn)，特地致信李大釗征求意見(jiàn)。最后，李大釗回信一錘定音：“叫共產(chǎn)黨！”