这其实是信息论里信息量的概念.
发送端一个码元取N种离散值,那么接收端收到的码元也有N种可能值.现在假设发送端发送了一个码元,那么接收端收到之前不知道将要收到的是N种离散值的哪一种,对吧?（如果知道发送的是哪个码元,那也就不需要通信了）
一般情况考虑每个码元以等概率P发送,那么P=1/N,于是接收端收到任何一个码元的概率都为P.信息量定义为 I =lb （1/P）;单位是bit,其中lb是log以2为底数.将P=1/N带入,也就有
I = lb(N) bit
另外,从信息量公式也可以看出,码元出现的概率越小,信息量越大.