1896年，國際奧林匹克委員會的發起人、邀請中國參加將在1896年希臘雅典舉行的第一屆現代奧運會。未派隊參加。
1922年，國際奧委會選舉我國王正廷爲國際奧委會委員，這是國際奧委會第一位中國委員。
1928年，中國又派宋如海觀光了在荷蘭阿姆斯特丹舉行的第九屆奧運會。中國正式參加了第十、十一、十四屆奧運會，在三屆奧運會上均未能取得任何成績。
1932年，劉長春作爲中國唯一的一名田徑選手參加了比賽，預賽時就被淘汰。
1936年第十一屆柏林奧運會舉行時，舊中國也組織了一個140人的代表團參加。
1948年第十四屆奧運會真正的運動員和教練員只有36人。
1952年，在芬蘭赫爾辛基舉行的第十五屆奧運會，中國體育代表團40人蔘加。
1954年，國際奧委會第四十九屆會議在希臘舉行，因製造“兩個中國”的問題拒絕參加奧運會。
1980年我國第一次參加了在美國普萊西德湖舉行的第十三屆冬季奧運會。
