世宗因大禮議之故，對楊廷和、楊慎父子極其憤恨，常問及楊慎近況，大臣則回答楊慎“老病”，世宗才稍覺寬慰。楊慎聽聞此事，更加放浪形骸。常縱酒自娛，遊歷名勝。《樂府紀聞》稱他“暇時紅粉傅面，作雙丫髻插花，令諸妓扶觴遊行，了不爲愧。”終世宗一世，六次大赦，楊慎終不得還，按明律年滿六十歲可以贖身返家，但無人敢受理。楊慎年近七旬時，曾返回瀘州短住，不久又被巡撫派人押解回永昌。嘉靖三十八年七月，卒於戍地。明穆宗隆慶初年，追贈光祿寺少卿，明熹宗天啓時追諡文憲。
