樹大招風。正是因爲衛氏家族的富貴，所以遭到一些人的嫉妒和陷害。徵和二年六月至八月之間，漢武帝非常信任的一個名叫江充的酷吏，以“巫蠱”之罪，陷害衛子夫和太子劉據等人，致使衛氏家族從興盛走向滅亡。
衛子夫的兒子劉據，是漢武帝的長子，漢武帝29歲纔有兒子，一開始非常喜歡劉據，但是等到劉據長大以後，漢武帝嫌他性格太仁厚軟弱，能力也一般，所以逐漸冷淡了他。
在漢武帝晚年，衛子夫和太子因爲漢武帝的寵幸漸漸少了，常常感到不安，甚至有性命之憂。 晚年太子劉據因謀反一案牽連，自縊身亡。
衛子夫知道兒子自殺後也懸樑自盡，一生溫柔敦厚的衛子夫走完了她38年的皇后之路，而盛怒之下的漢武帝大開殺戒，屠滅衛家三族和幫助衛家的宮人達十萬之多。
