互信息的含義

互信息是信息論裏一種有用的信息度量，它是指兩個事件集合之間的相關性。信道中總是存在着噪聲和干擾，信源發出消息x，通過信道後信宿只可能收到由於干擾作用引起的某種變形的y。信宿收到y後推測信源發出x的概率，這一過程可由後驗概率來描述。相應地，信源發出x的概率稱爲先驗概率。我們定義x的後驗概率與先驗概率比值的對數爲y對x的互信息量，也稱交互信息量，簡稱互信息。