普通的概率区间为[0,1]
而取熵之后的取值范围是[0,正无穷大]
这样数的熵值就会比单纯的小数更明显更明确
另外概率越大信息量越小,是一个负相关关系
而用熵来度量概率,熵值越大信息量越大
这就比概率更直观
熵值的计算为什么用对数看到熵的计算公式都是用概率*概率的对数值,就想问一下为什么用对数呢?
普通的概率区间为[0,1]
而取熵之后的取值范围是[0,正无穷大]
这样数的熵值就会比单纯的小数更明显更明确
另外概率越大信息量越小,是一个负相关关系
而用熵来度量概率,熵值越大信息量越大
这就比概率更直观