信息量或者熵（Entropy）,又称Shannon Entropy,定义为：∑_i -pi log_2(pi)
现在,硬币正反的概率都是1/2,所以p1=1/2,p2=1/2,
所以,Entropy = - (1/2) log_2 (1/2) - (1/2) log_2 (1/2) = - log_2 (1/2) = 1 .
其实,你只有一个硬币,且出现0,1的机会均等,当然是有1个bit的信息量.
所以,计算和直觉是一致的.
推广之,如果你抛这个硬币n次,或者同时抛n个硬币,熵就是n.
如果要算,只要记住,概率是相乘的,而熵是以log_2 定义的,所以,概率相乘就变成熵相加,
n次或n个就是n个1相加.