MI指标解析，互信息的应用与计算 *** 详解

MI（互信息，MutualInformation）是衡量两个变量间统计依赖性的指标，反映一个变量包含另一个变量的信息量，其核心思想是量化已知一个变量后，另一个变量不确定性的减少程度，广泛应用于特征选择、聚类分析、图像配准等领域，计算上，MI基于联合概率分布与边缘概率分布的比值，通过熵的差值或对数期望得出，公式为\(I(X;Y)=\sump(x,y...