爲什麼線性判別分析的降維維數不能大於類別數減一

爲什麼線性判別分析的降維維數不能大於類別數減一

這涉及到矩陣乘法的問題,我們假設類別總數爲N:由於矩陣中的的秩爲1,因此SB的秩最多爲N,即類別數目(矩陣的秩小於等於各個相加矩陣的秩的和)。又由於 和N個 不是線性無關的, 和前N-1個 可以表示出第N個 ,或者說可以通的線性組合表示出來,因此 的秩最多爲N-1, 的秩最大也爲N-1。而LDA的映射矩陣W爲 進行特徵值求解的特徵矩陣所組成。由於秩爲N-1,那麼不爲0的特徵值個數爲則不大於N-1,因此有用的特徵向量個數也不大於N-1。故其降維後的特徵維度也不大於N-1。也就是對於2類,只能降維爲1維。