中國共產主義青年團的組織源頭，主要是青年群體。即青年群體的形成是青年團產生的組織基礎。新文化運動的興起是青年團產生的思想基礎；馬克思主義的傳播是青年團產生的理論基礎。五四運動標志著中國青年新的覺醒，由“五四”開始的青年運動的實踐，是青年團體產生的重要條件；五四運動之后，中國青年運動出現了一個全新的局面，中國青年要求改造社會的呼聲越來越高，建立一個以馬克思為理論指導的青年政治團體，成為歷史的要求；馬克思主義與中國青年運動相結合，是青年團產生的重要條件。十月革命及俄國共青團的影響是中國青年團產生的外部條件。中國共產黨的誕生不僅直接締造了青年團，而且為青年團的建立提供了領導保證。

    五四運動后，中國青年要求改造社會的呼聲響徹祖國大地，各地青年紛紛成立社團，宣傳新思潮、新文化的刊物如雨后春筍，大量涌現，僅一年時間，就出現400多種。其中具有不同程度的社會主義傾向就有200多種。在五四運動中，青年知識分子看到工人階級表現出來的偉大力量。一些具有初步共產主義思想的知識分子開始到民間去，在工人中開辦學校，組織工會，促進了馬克思主義與中國工人運動的結合。馬克思主義與中國工人運動的結合，為中國共產黨和中國共青團的創建作了思想和組織上的準備。

    同時，湖南、湖北、浙江、安徽、四川等地，很多青年對舊社會不滿，要求思想解放。他們脫離家庭和學校，探索改造社會的新道路。從自發的革命意識到自覺的革命行為，需要科學的理論指導和有效的組織動員。因此，中共早期組織成立后，隨即組建了青年團早期組織。

    1920年8月，在共產國際的幫助下，上海首先建立了共產主義小組。在這個黨的早期組織的籌建過程中，共產黨的發起人李大釗、陳獨秀等人就對發展中國青年運動、在青年中培養和挑選預備黨員的工作給予了極大的關注。因此，上海共產主義小組一成立，陳獨秀便指派小組內最年輕的成員俞秀松組建社會主義青年團。8月22日，上海社會主義青年團由俞秀松、施存統等8人正式發起建立。

    1921年7月，中國共產黨成立后，派出了許多黨員去加強對各地團的早期組織的領導工作。1922年5月5日，中國社會主義青年團第一次全國代表大會在廣州市東園開幕，中國共青團正式成立。1925年1月26日至30日，中國社會主義青年團在上海召開第三次全國代表大會，會議發表了《大會宣言》，并將“中國社會主義青年團”正式更名為“中國共產主義青年團”。

    繼上海青年團早期組織成立之后，1920年秋至1921年春，北京、武漢、廣州、長沙等地的革命青年也在當地建立了社會主義青年團的早期組織。

    1921年7月，中國共產黨成立后，就立即研究了在各地建立和發展社會主義青年團，并且將它作為黨的預備學校的問題，派出了許多黨員去加強對各地團的早期組織的領導工作。這時代表中國共產黨和青年團出席共產國際三大和青年共產國際二大的張太雷從莫斯科歸來。他帶回了青年共產國際關于建立中國青年團組織的指示。中共中央局隨即決定由張太雷等人主持正式建立青年團的工作。從1921年11月到1922年5月，全國有17個城市建立了地方青年團組織，團員總數達5千多人。